FactSpotter : Évaluation de la fidélité factuelle de la génération de texte à partir de graphes

La génération de texte à partir de graphe (G2T) prend un graphe en entrée et vise à produire une représentation textuelle fluide et fidèle aux informations contenues dans ce graphe. Cette tâche présente de nombreuses applications, telles que la génération de dialogues ou la réponse aux questions. Dans ce travail, nous examinons dans quelle mesure le problème de la génération G2T est résolu sur des jeux de données précédemment étudiés, ainsi que la performance des métriques proposées lors de la comparaison des textes générés. Pour pallier les limites de ces métriques existantes, nous proposons une nouvelle métrique, FactSpotter, qui permet de détecter correctement la fidélité factuelle : étant donné un triplet (sujet, prédicat, objet), elle détermine si ce triplet est présent dans un texte généré. Nous démontrons que FactSpotter atteint la corrélation la plus élevée avec les annotations humaines en matière de justesse des données, de couverture des données et de pertinence. En outre, FactSpotter peut être intégré comme fonctionnalité plug-in afin d’améliorer la fidélité factuelle des modèles existants. Enfin, nous étudions si les jeux de données G2T actuellement disponibles restent un défi pour les modèles d’état de l’art. Notre code est disponible en ligne : https://github.com/guihuzhang/FactSpotter.