HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

FactSpotter : Évaluation de la fidélité factuelle de la génération de texte à partir de graphes

{Ioana Manolescu Oana Balalau Kun Zhang}

FactSpotter : Évaluation de la fidélité factuelle de la génération de texte à partir de graphes

Résumé

La génération de texte à partir de graphe (G2T) prend un graphe en entrée et vise à produire une représentation textuelle fluide et fidèle aux informations contenues dans ce graphe. Cette tâche présente de nombreuses applications, telles que la génération de dialogues ou la réponse aux questions. Dans ce travail, nous examinons dans quelle mesure le problème de la génération G2T est résolu sur des jeux de données précédemment étudiés, ainsi que la performance des métriques proposées lors de la comparaison des textes générés. Pour pallier les limites de ces métriques existantes, nous proposons une nouvelle métrique, FactSpotter, qui permet de détecter correctement la fidélité factuelle : étant donné un triplet (sujet, prédicat, objet), elle détermine si ce triplet est présent dans un texte généré. Nous démontrons que FactSpotter atteint la corrélation la plus élevée avec les annotations humaines en matière de justesse des données, de couverture des données et de pertinence. En outre, FactSpotter peut être intégré comme fonctionnalité plug-in afin d’améliorer la fidélité factuelle des modèles existants. Enfin, nous étudions si les jeux de données G2T actuellement disponibles restent un défi pour les modèles d’état de l’art. Notre code est disponible en ligne : https://github.com/guihuzhang/FactSpotter.

Benchmarks

BenchmarkMéthodologieMétriques
data-to-text-generation-on-dartT5-B Baseline
BLEU: 48.47
BLEURT: 67.49
METEOR: 40.74
data-to-text-generation-on-webnlgT5-B Baseline
BLEU: 67.04
BLEURT: 73.22
METEOR: 48.35
data-to-text-generation-on-webnlgJointGT Baseline
BLEU: 67.08
BLEURT: 73.44
METEOR: 48.34

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp