Hie-BART : Résumé de documents avec BART hiérarchique

Cet article propose un nouveau modèle de résumé abstrait de documents, appelé BART hiérarchique (Hie-BART), qui intègre les structures hiérarchiques d’un document (c’est-à-dire les structures phrase-mot) dans le cadre du modèle BART. Bien que le modèle BART existant ait atteint des performances de pointe sur les tâches de résumé de documents, il ne prend pas en compte les interactions entre les informations au niveau des phrases et celles au niveau des mots. Dans les tâches de traduction automatique, les performances des modèles de traduction automatique neuronale ont été améliorées grâce à l’introduction de l’attention auto-supervisée à multi-granularité (MG-SA), qui permet de capturer les relations entre mots et phrases. Inspiré par ces travaux antérieurs, le modèle Hie-BART proposé intègre la MG-SA dans l’encodeur du modèle BART afin de mieux modéliser les structures phrase-mot. Les évaluations effectuées sur le jeu de données CNN/Daily Mail montrent que le modèle Hie-BART proposé surpasse plusieurs modèles de référence solides et améliore les performances d’un modèle BART non hiérarchique de +0,23 point ROUGE-L.