Ergodic Annealing