GRETEL : Modèle linguistique amélioré par thèmes par contraste graphique pour la synthèse extraite de documents longs

Récemment, les modèles de sujets neuronaux (NTMs) ont été intégrés dans les modèles linguistiques pré-entraînés (PLMs) afin de capturer les informations sémantiques globales pour la résumé de texte. Toutefois, ces approches présentent encore des limites quant à la manière dont elles captent et intègrent les informations sémantiques globales. Dans ce travail, nous proposons un nouveau modèle, le modèle linguistique amélioré par sujets par apprentissage contrastif sur graphe (GRETEL), qui combine le modèle de sujets par apprentissage contrastif sur graphe avec un modèle linguistique pré-entraîné, afin d’exploiter pleinement à la fois les sémantiques contextuelles globales et locales pour la génération de résumés extraitifs de documents longs. Pour mieux capturer et intégrer les informations sémantiques globales dans les PLMs, le modèle de sujets par apprentissage contrastif sur graphe intègre un encodeur transformer hiérarchique et l’apprentissage contrastif sur graphe afin de fusionner les informations sémantiques provenant du contexte global du document et du résumé de référence. Ainsi, GRETEL incite le modèle à extraire efficacement des phrases pertinentes sur le plan thématique par rapport au résumé de référence, plutôt que des phrases redondantes couvrant des sujets sous-optimisés. Les résultats expérimentaux sur des jeux de données généralistes et biomédicaux démontrent que notre méthode surpasser les approches de pointe (SOTA).