HyperAIHyperAI

Command Palette

Search for a command to run...

FactSpotter: Bewertung der faktischen Treue von Graph-zu-Text-Generierung

Ioana Manolescu Oana Balalau Kun Zhang

Zusammenfassung

Die Graph-to-Text-(G2T)-Generierung nimmt einen Graphen als Eingabe und zielt darauf ab, eine flüssige und faktengerechte textuelle Darstellung der im Graphen enthaltenen Informationen zu erzeugen. Die Aufgabe besitzt zahlreiche Anwendungen, beispielsweise in der Dialoggenerierung und der Fragebeantwortung. In dieser Arbeit untersuchen wir, inwieweit das G2T-Generierungsproblem für bisher untersuchte Datensätze bereits gelöst ist, und evaluieren die Leistung vorgeschlagener Metriken bei der Vergleichbarkeit generierter Texte. Um die Grenzen bestehender Metriken zu überwinden, schlagen wir eine neue Metrik vor, die die faktische Treue korrekt erkennt, d. h., gegeben ein Tripel (Subjekt, Prädikat, Objekt), entscheidet sie, ob dieses Tripel im generierten Text enthalten ist. Wir zeigen, dass unsere Metrik FactSpotter die höchste Korrelation mit menschlichen Annotationen hinsichtlich Datenkorrektheit, Datendeckung und Relevanz erreicht. Zudem kann FactSpotter als Plug-in-Feature genutzt werden, um die faktische Treue bestehender Modelle zu verbessern. Schließlich untersuchen wir, ob bestehende G2T-Datensätze auch für state-of-the-art-Modelle weiterhin herausfordernd sind. Unser Code ist online verfügbar: https://github.com/guihuzhang/FactSpotter.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp