Les Représentations Bidirectionnelles des Encodeurs à partir des Transformers (BERT) représentent la dernière incarnation des modèles de langage préentraînés qui ont récemment progressé dans une large gamme de tâches de traitement du langage naturel. Dans cet article, nous démontrons comment BERT peut être utilement appliqué à la synthèse automatique de texte et proposons un cadre général pour les modèles extractifs et abstratifs. Nous introduisons un nouvel encodeur au niveau du document basé sur BERT, capable d'exprimer la sémantique d'un document et d'obtenir des représentations pour ses phrases. Notre modèle extractif est construit sur cette base en empilant plusieurs couches de Transformers inter-phrases. Pour la synthèse abstraite, nous proposons un nouveau calendrier d'affinage qui adopte différents optimiseurs pour l'encodeur et le décodeur afin d'atténuer le déséquilibre entre les deux (le premier étant préentraîné tandis que le second ne l'est pas). Nous montrons également qu'une approche d'affinage en deux étapes peut améliorer davantage la qualité des résumés générés. Les expériences menées sur trois jeux de données montrent que notre modèle obtient des résultats de pointe dans les deux configurations, extractive et abstraite. Notre code est disponible à l'adresse suivante : https://github.com/nlpyang/PreSumm