HiStruct+ : Amélioration de la Résumation Textuelle Extractive grâce aux Informations Structurelles Hiérarchiques

Les modèles de langage basés sur les Transformers traitent généralement les textes comme des séquences linéaires. Cependant, la plupart des textes présentent également une structure hiérarchique inhérente, c'est-à-dire que certaines parties du texte peuvent être identifiées en fonction de leur position dans cette hiérarchie. De plus, les titres de sections indiquent généralement le sujet commun de leurs phrases respectives. Nous proposons une nouvelle approche pour formuler, extraire, coder et injecter explicitement des informations de structure hiérarchique dans un modèle de résumé extractif basé sur un modèle de langage Transformer pré-entraîné et uniquement encodeur (modèle HiStruct+), ce qui améliore considérablement les scores ROUGE d'état de l'art pour le résumé extractif sur PubMed et arXiv. En utilisant diverses configurations expérimentales sur trois jeux de données (à savoir CNN/DailyMail, PubMed et arXiv), notre modèle HiStruct+ surpass collectivement une ligne de base solide, qui diffère de notre modèle uniquement par le fait qu'elle ne bénéficie pas des informations de structure hiérarchique injectées. Il est également observé que plus la structure hiérarchique du jeu de données est évidente, plus grandes sont les améliorations apportées par notre méthode. L'étude d'ablation démontre que les informations sur la position hiérarchique sont le principal contributeur à la performance SOTA (State Of The Art) de notre modèle.