HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

FactSpotter: Bewertung der faktischen Treue von Graph-zu-Text-Generierung

{Ioana Manolescu Oana Balalau Kun Zhang}

FactSpotter: Bewertung der faktischen Treue von Graph-zu-Text-Generierung

Abstract

Die Graph-to-Text-(G2T)-Generierung nimmt einen Graphen als Eingabe und zielt darauf ab, eine flüssige und faktengerechte textuelle Darstellung der im Graphen enthaltenen Informationen zu erzeugen. Die Aufgabe besitzt zahlreiche Anwendungen, beispielsweise in der Dialoggenerierung und der Fragebeantwortung. In dieser Arbeit untersuchen wir, inwieweit das G2T-Generierungsproblem für bisher untersuchte Datensätze bereits gelöst ist, und evaluieren die Leistung vorgeschlagener Metriken bei der Vergleichbarkeit generierter Texte. Um die Grenzen bestehender Metriken zu überwinden, schlagen wir eine neue Metrik vor, die die faktische Treue korrekt erkennt, d. h., gegeben ein Tripel (Subjekt, Prädikat, Objekt), entscheidet sie, ob dieses Tripel im generierten Text enthalten ist. Wir zeigen, dass unsere Metrik FactSpotter die höchste Korrelation mit menschlichen Annotationen hinsichtlich Datenkorrektheit, Datendeckung und Relevanz erreicht. Zudem kann FactSpotter als Plug-in-Feature genutzt werden, um die faktische Treue bestehender Modelle zu verbessern. Schließlich untersuchen wir, ob bestehende G2T-Datensätze auch für state-of-the-art-Modelle weiterhin herausfordernd sind. Unser Code ist online verfügbar: https://github.com/guihuzhang/FactSpotter.

Benchmarks

BenchmarkMethodikMetriken
data-to-text-generation-on-dartT5-B Baseline
BLEU: 48.47
BLEURT: 67.49
METEOR: 40.74
data-to-text-generation-on-webnlgT5-B Baseline
BLEU: 67.04
BLEURT: 73.22
METEOR: 48.35
data-to-text-generation-on-webnlgJointGT Baseline
BLEU: 67.08
BLEURT: 73.44
METEOR: 48.34

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
FactSpotter: Bewertung der faktischen Treue von Graph-zu-Text-Generierung | Forschungsarbeiten | HyperAI