L'initialisation optimale des paramètres reste un problème crucial pour l'entraînement des réseaux de neurones. Une initialisation des poids déficiente peut entraîner un temps d'entraînement plus long et/ou une convergence vers des solutions sous-optimales. Dans cet article, nous proposons une méthode de réinitialisation des poids par refroidissement répété et injection de bruit dans le processus d'entraînement. Nous mettons en œuvre cette méthode à travers un calendrier cyclique de taille de lot motivé par une perspective bayésienne de l'entraînement des réseaux de neurones. Nous évaluons nos méthodes par des expériences approfondies sur des tâches de modélisation linguistique, d'inférence en langage naturel et de classification d'images. Nous démontrons la capacité de notre méthode à améliorer les performances de modélisation linguistique jusqu'à 7,91 points de perplexité et à réduire les itérations d'entraînement jusqu'à 61 %, en plus de sa flexibilité permettant l'assemblage par instantanés (snapshot ensembling) et son utilisation avec l'entraînement adversarial.