ReasTAP: Die Injektion von Tabellen-Reasoning-Fähigkeiten während der Vorverarbeitung durch synthetische Reasoning-Beispiele

Das Schließen aus tabellarischen Daten erfordert sowohl das Verstehen der Tabellenstruktur als auch eine breite Palette von Tabellenschlussfolgerungsfähigkeiten. Aktuelle Modelle mit tabellenbezogenen Architekturen und Vortrainingsmethoden erzielen gute Ergebnisse beim Verstehen von Tabellenstrukturen, haben jedoch noch Schwierigkeiten bei Aufgaben, die verschiedene Tabellenschlussfolgerungsfähigkeiten erfordern. In dieser Arbeit entwickeln wir ReasTAP, um zu zeigen, dass hochwertige Tabellenschlussfolgerungsfähigkeiten in Modelle eingeführt werden können, während des Vortrainings ohne eine komplexe tabellenbezogene Architekturgestaltung. Wir definieren 7 Tabellenschlussfolgerungsfähigkeiten, wie numerische Operationen, zeitliche Vergleiche und Konjunktionen. Jede Schlussfolgerungsfähigkeit ist mit einem Beispielgenerator verknüpft, der nach den gewählten Vorlagen Fragen zu halbstrukturierten Tabellen synthetisiert. Wir modellieren die tabellenbezogene Vortrainingsaufgabe als Sequenzgenerierungsaufgabe und führen das Vortraining von ReasTAP durch, um präzise Antworten auf die synthetisierten Beispiele zu generieren. ReasTAP wird anhand von vier Benchmarks evaluiert, die drei Downstream-Aufgaben abdecken: 1) WikiSQL und WTQ für das Beantworten von Tabellenfragen; 2) TabFact für die Überprüfung von Tatsachen in Tabellen; und 3) LogicNLG für die treue Generierung von Text aus Tabellen (Faithful Table-to-Text Generation). Die experimentellen Ergebnisse zeigen, dass ReasTAP neue Standarts in der Leistung auf allen Benchmarks erreicht und einen signifikanten Fortschritt im Bereich der Ressourcenarmut bringt. Unser Code ist öffentlich verfügbar unter https://github.com/Yale-LILY/ReasTAP.