Dans cet article, nous proposons un nouveau cadre d'encodeur-décodeur basé sur le préentraînement, capable de générer une séquence de sortie à partir d'une séquence d'entrée en deux étapes. Pour l'encodeur de notre modèle, nous codons la séquence d'entrée en représentations contextuelles à l'aide de BERT. Quant au décodeur, notre modèle comporte deux phases : dans la première phase, nous utilisons un décodeur basé sur le Transformer pour générer une séquence de sortie préliminaire. Dans la seconde phase, nous masquons chaque mot de cette séquence préliminaire et la fournissons à BERT ; ensuite, en combinant la séquence d'entrée et la représentation préliminaire générée par BERT, nous utilisons un décodeur basé sur le Transformer pour prédire les mots affinés pour chaque position masquée. Selon nos connaissances actuelles, notre approche est la première méthode qui applique BERT aux tâches de génération de texte. En tant que premier pas dans cette direction, nous évaluons notre méthode proposée sur la tâche de résumé automatique. Les résultats expérimentaux montrent que notre modèle atteint des performances inédites sur les jeux de données CNN/Daily Mail et New York Times.