HIBERT : Pré-entraînement au niveau du document de transformateurs bidirectionnels hiérarchiques pour la synthèse de documents

Les modèles de résumé extractif neuronaux utilisent généralement un encodeur hiérarchique pour l'encodage des documents et sont formés à l'aide d'étiquettes au niveau des phrases, créées heuristiquement par des méthodes basées sur des règles. La formation de l'encodeur hiérarchique avec ces étiquettes \emph{imprécises} est un défi. Inspirés par les travaux récents sur la préformation d'encodeurs de phrases transformers \cite{devlin:2018:arxiv}, nous proposons {\sc Hibert} (abréviation de {\bf HI}erarchique {\bf B}idirectionnel {\bf E}ncodeur {\bf R}epresentations from {\bf T}ransformers) pour l'encodage des documents et une méthode pour le préformer en utilisant des données non étiquetées. Nous appliquons le {\sc Hibert} préformé à notre modèle de résumé, et il surpasse son homologue initialisé aléatoirement de 1,25 ROUGE sur le jeu de données CNN/Dailymail et de 2,0 ROUGE sur une version du jeu de données du New York Times. Nous obtenons également les meilleures performances actuelles sur ces deux jeux de données.