Sur la synthèse de documents neurale extraite et abstraite basée sur des modèles linguistiques Transformer

Nous présentons une méthode permettant de produire des résumés abstraitifs de documents longs dépassant plusieurs milliers de mots grâce à une synthèse abstraite neuronale. Nous effectuons une étape simple d'extraction avant la génération du résumé, qui est ensuite utilisée pour conditionner le modèle linguistique Transformer sur des informations pertinentes avant de lui demander de générer le résumé. Nous montrons que cette étape d'extraction améliore significativement les résultats de synthèse. Nous démontrons également que cette approche produit des résumés plus abstraits que les travaux antérieurs utilisant un mécanisme de copie, tout en atteignant des scores ROUGE plus élevés. Remarque : L'abstract ci-dessus n'a pas été rédigé par les auteurs, il a été généré par l'un des modèles présentés dans cet article.