FactSpotter: Bewertung der faktischen Treue von Graph-zu-Text-Generierung

Die Graph-to-Text-(G2T)-Generierung nimmt einen Graphen als Eingabe und zielt darauf ab, eine flüssige und faktengerechte textuelle Darstellung der im Graphen enthaltenen Informationen zu erzeugen. Die Aufgabe besitzt zahlreiche Anwendungen, beispielsweise in der Dialoggenerierung und der Fragebeantwortung. In dieser Arbeit untersuchen wir, inwieweit das G2T-Generierungsproblem für bisher untersuchte Datensätze bereits gelöst ist, und evaluieren die Leistung vorgeschlagener Metriken bei der Vergleichbarkeit generierter Texte. Um die Grenzen bestehender Metriken zu überwinden, schlagen wir eine neue Metrik vor, die die faktische Treue korrekt erkennt, d. h., gegeben ein Tripel (Subjekt, Prädikat, Objekt), entscheidet sie, ob dieses Tripel im generierten Text enthalten ist. Wir zeigen, dass unsere Metrik FactSpotter die höchste Korrelation mit menschlichen Annotationen hinsichtlich Datenkorrektheit, Datendeckung und Relevanz erreicht. Zudem kann FactSpotter als Plug-in-Feature genutzt werden, um die faktische Treue bestehender Modelle zu verbessern. Schließlich untersuchen wir, ob bestehende G2T-Datensätze auch für state-of-the-art-Modelle weiterhin herausfordernd sind. Unser Code ist online verfügbar: https://github.com/guihuzhang/FactSpotter.