Große Sprachmodelle sind vielseitige Zerlegungsmodelle: Zerlegen von Beweisen und Fragen für tabellenbasiertes Schließen

Tabellenbasiertes Schließen hat bemerkenswerte Fortschritte bei der Kombination von tiefen Modellen mit diskretem Schließen gezeigt, wobei sowohl freiformige natürlichsprachliche (NL) Fragen als auch strukturierte tabellarische Daten verarbeitet werden müssen. Allerdings leiden bisherige Lösungen für tabellenbasiertes Schließen oft unter einer erheblichen Leistungsabnahme bei großen Beweisen (Tabellen). Zudem kämpfen die meisten existierenden Methoden damit, komplexe Fragen zu beantworten, da die erforderlichen Informationen an verschiedenen Stellen verstreut sind. Um diese Herausforderungen zu mindern, nutzen wir große Sprachmodelle (LLMs) als Zerlegungswerkzeuge für effektives tabellenbasiertes Schließen, die (i) große Beweise (große Tabellen) in Unterbeweise (kleine Tabellen) zerlegen, um die Störung durch unnötige Informationen beim Tabellenschließen zu reduzieren; und (ii) komplexe Fragen in einfachere Unterfragen zerlegen, um das Textschließen zu erleichtern. Insbesondere verwenden wir zunächst die LLMs, um die im aktuellen Fragestellungsprozess beteiligten Beweise (Tabellen) zu zerlegen und nur die relevanten Beweise beizubehalten, während wir den Rest der irrelevanten Beweise aus der großen Tabelle ausschließen. Darüber hinaus schlagen wir eine „Parsen-Ausführen-Füllen“-Strategie vor, um das Halluzinationsdilemma des Gedankenkettenschließens durch Trennung von Logik und numerischer Berechnung in jedem Schritt abzumildern. Ausführliche Experimente zeigen, dass unsere Methode effektiv zerlegte Beweise und Fragen nutzen kann und dabei starke Baseline-Methoden auf den Datensätzen TabFact, WikiTableQuestions und FetaQA übertrifft. Bemerkenswerterweise übertreffen unsere Modelle zum ersten Mal die menschliche Leistung auf dem Datensatz TabFact.