L’entrée et la sortie la plupart des tâches de génération de texte peuvent être transformées en deux séquences de tokens, et ces dernières peuvent être modélisées à l’aide d’outils d’apprentissage séquence-à-séquence tels que les Transformers. Ces modèles sont généralement entraînés en maximisant la probabilité de la séquence de sortie, en supposant que la séquence d’entrée et tous les tokens d’or précédents sont connus pendant l’entraînement. Toutefois, lors de l’inférence, le modèle souffre du problème de biais d’exposition (c’est-à-dire qu’il n’a accès qu’aux tokens prédits précédemment par le modèle, et non aux tokens d’or, lors de la recherche par faisceau). Dans cet article, nous proposons MoCa ({\bf Mo}mentum {\bf Ca}libration), une méthode en ligne qui génère dynamiquement des échantillons évoluant lentement (mais de manière cohérente) à l’aide d’un générateur à moyenne mobile par momentum, combiné à une recherche par faisceau. MoCa apprend à aligner les scores du modèle sur ces échantillons avec leurs véritables qualités. Des expériences menées sur quatre jeux de données de génération de texte (à savoir CNN/DailyMail, XSum, SAMSum et Gigaword) montrent que MoCa améliore de manière cohérente les Transformers pré-entraînés forts utilisant une fine-tuning classique, et que nous atteignons des résultats de pointe sur les jeux de données CNN/DailyMail et SAMSum.