GAP : Un Cadre de Modèle Linguistique Conscient des Graphes pour la Génération Textuelle à Partir de Graphes de Connaissances

Les récentes améliorations dans la génération de texte à partir des graphes de connaissances (KG-to-text) sont attribuables à des tâches d'apprentissage préalable auxiliaires supplémentaires conçues pour améliorer les performances de la tâche d'ajustement fin. Ces tâches nécessitent des ressources informatiques considérables tout en n'offrant que des améliorations marginales. Dans cet article, nous démontrons qu'en intégrant des éléments sensibles aux graphes dans les modèles de langage pré-entraînés existants, il est possible de surpasser les modèles d'avant-garde et de combler l'écart imposé par les tâches d'apprentissage préalable supplémentaires. Nous le faisons en proposant une structure de masque pour capturer les informations du voisinage et un nouvel encodeur de type qui ajoute un biais aux poids d'attention du graphe en fonction du type de connexion. Les expériences menées sur deux jeux de données de référence pour la génération de texte à partir des graphes de connaissances montrent que nos modèles sont compétitifs tout en impliquant moins de paramètres et sans nécessiter d'autres tâches d'apprentissage préalable. En formulant le problème sous forme de cadre, nous pouvons échanger les différents composants proposés et commencer à interpréter les modèles génératifs KG-to-text en fonction des informations topologiques et typologiques contenues dans un graphe.