Étude des modèles de langage préentraînés pour la génération de texte à partir de graphes

La génération de texte à partir de graphes vise à produire des textes fluides à partir de données basées sur des graphes. Dans cet article, nous examinons deux modèles de langage préentraînés (PLM) récemment proposés et analysons l'impact de différentes stratégies de préentraînement adaptatif aux tâches pour les PLM dans la génération de texte à partir de graphes. Nous présentons une étude couvrant trois domaines de graphes : représentations sémantiques, graphes de connaissances (KG) de Wikipédia et graphes de connaissances scientifiques. Nous montrons que les PLMs BART et T5 atteignent de nouveaux résultats d'état de l'art et que les stratégies de préentraînement adaptatif aux tâches améliorent encore davantage leurs performances. En particulier, nous rapportons des scores BLEU d'état de l'art nouveaux, respectivement de 49,72 sur LDC2017T10, 59,70 sur WebNLG et 25,66 sur le jeu de données AGENDA - soit une amélioration relative respective de 31,8 %, 4,5 % et 42,4 %. Dans une analyse approfondie, nous identifions les raisons possibles du succès des PLMs dans les tâches de génération de texte à partir de graphes. Nous trouvons des preuves que leur connaissance des faits véritables les aide à bien performer même lorsque la représentation du graphe en entrée est réduite à un simple sac d'étiquettes de nœuds et d'arêtes.