Les travaux actuels de pré-entraînement en génération de langage naturel accordent peu d'attention au problème du biais d'exposition sur les tâches en aval. Pour remédier à cette situation, nous proposons un cadre de pré-entraînement et d'affinage amélioré basé sur une architecture séquence-à-séquence multicouche, nommé ERNIE-GEN, qui réduit l'écart entre l'entraînement et l'inférence grâce à un mécanisme de génération par remplissage et à une méthode de génération résiliente au bruit. Afin de rendre la génération plus proche des modèles d'écriture humaine, ce cadre introduit un flux de génération par segment, formant le modèle à prédire des segments sémantiquement complets consécutivement plutôt que mot par mot. Contrairement aux méthodes de pré-entraînement existantes, ERNIE-GEN intègre un échantillonnage cible multigrain pour construire les données de pré-entraînement, ce qui renforce la corrélation entre l'encodeur et le décodeur. Les résultats expérimentaux montrent qu'ERNIE-GEN obtient des performances d'avant-garde avec une quantité beaucoup plus faible de données et de paramètres de pré-entraînement sur diverses tâches de génération linguistique, notamment la synthèse abstraite (Gigaword et CNN/DailyMail), la génération de questions (SQuAD), la génération de dialogues (Persona-Chat) et les réponses génératives aux questions (CoQA).