PEGASUS : Pré-entraînement avec des phrases extraites contenant des trous pour la synthèse abstraite

Les travaux récents portant sur l’entraînement préalable des modèles Transformer par des objectifs auto-supervisés sur de grandes corpora de texte ont démontré un succès remarquable lorsqu’ils sont affinés sur des tâches NLP en aval, notamment la résumé abstrait de texte. Toutefois, les objectifs d’entraînement préalable spécifiquement conçus pour le résumé abstrait de texte n’ont pas encore été explorés de manière systématique. En outre, l’évaluation systématique à travers des domaines divers reste insuffisante. Dans ce travail, nous proposons d’entraîner préalablement de grands modèles encodage-décodage basés sur Transformer sur de vastes corpora de texte, en introduisant un nouvel objectif auto-supervisé. Dans PEGASUS, des phrases importantes sont supprimées ou masquées à partir d’un document d’entrée, puis reconstruites conjointement comme une seule séquence de sortie à partir des phrases restantes, ce qui rappelle le principe d’un résumé extrait. Nous avons évalué notre meilleur modèle PEGASUS sur 12 tâches de résumé en aval couvrant divers domaines : actualités, sciences, récits, instructions, courriels, brevets et projets de loi législatifs. Les expériences montrent que notre modèle atteint des performances de pointe sur l’ensemble des 12 jeux de données, mesurées par les scores ROUGE. De plus, notre modèle obtient des performances surprenantes dans des scénarios à faible ressource, dépassant les résultats précédents de l’état de l’art sur 6 jeux de données, même avec seulement 1 000 exemples. Enfin, nous avons validé nos résultats par une évaluation humaine, démontrant que les résumés générés par notre modèle atteignent un niveau comparable à celui des humains sur plusieurs jeux de données.