Affinage par étapes pour la génération de texte à partir de graphes

La génération de texte à partir de graphes a bénéficié des modèles de langage pré-entraînés (PLMs) pour obtenir de meilleures performances que les encodeurs structurés de graphes. Cependant, ces modèles échouent à pleinement exploiter les informations structurelles du graphe d'entrée. Dans cet article, nous visons à améliorer davantage les performances du modèle de langage pré-entraîné en proposant un modèle structuré de génération de texte à partir de graphes avec un mécanisme d'affinage en deux étapes, qui affine d'abord le modèle sur Wikipedia avant de l'adapter à la génération de texte à partir de graphes. En plus d'utiliser les plongements traditionnels de jetons et de positions pour encoder le graphe de connaissances (KG), nous proposons une nouvelle méthode de plongement au niveau arborescent pour capturer les structures d'inter-dépendance du graphe d'entrée. Cette nouvelle approche a considérablement amélioré les performances de tous les métriques de génération de texte pour l'ensemble de données WebNLG 2017 en anglais.