Les modèles de résumé extractif neuronaux utilisent généralement un encodeur hiérarchique pour l'encodage des documents et sont formés à l'aide d'étiquettes au niveau des phrases, créées heuristiquement par des méthodes basées sur des règles. La formation de l'encodeur hiérarchique avec ces étiquettes \emph{imprécises} est un défi. Inspirés par les travaux récents sur la préformation d'encodeurs de phrases transformers \cite{devlin:2018:arxiv}, nous proposons {\sc Hibert} (abréviation de {\bf HI}erarchique {\bf B}idirectionnel {\bf E}ncodeur {\bf R}epresentations from {\bf T}ransformers) pour l'encodage des documents et une méthode pour le préformer en utilisant des données non étiquetées. Nous appliquons le {\sc Hibert} préformé à notre modèle de résumé, et il surpasse son homologue initialisé aléatoirement de 1,25 ROUGE sur le jeu de données CNN/Dailymail et de 2,0 ROUGE sur une version du jeu de données du New York Times. Nous obtenons également les meilleures performances actuelles sur ces deux jeux de données.