Neuüberlegung des Verständnisses von Tabellendaten mit großen Sprachmodellen

Große Sprachmodelle (LLMs) haben sich bei einer Vielzahl von Aufgaben als leistungsfähig erwiesen, ihre Fähigkeit jedoch, tabellarische Daten zu interpretieren und zu schließen, bleibt ein bisher wenig erforschtes Gebiet. In diesem Kontext untersucht diese Studie drei zentrale Aspekte: die Robustheit von LLMs gegenüber strukturellen Störungen in Tabellen, einen vergleichenden Analyseansatz zwischen textbasierter und symbolischer Schlussfolgerung auf Tabellen sowie das Potenzial, die Modellleistung durch die Aggregation mehrerer Schlussfolgerungspfade zu steigern. Wir stellen fest, dass strukturelle Variabilität in Tabellen, die denselben Inhalt darstellen, zu einer signifikanten Leistungsverschlechterung führen, insbesondere bei symbolischen Schlussfolgerungsaufgaben. Dies motiviert den Vorschlag einer Methode zur Normalisierung der Tabellenstruktur. Zudem zeigt sich, dass textbasierte Schlussfolgerung leicht die symbolische Überlegenheit besitzt, und eine detaillierte Fehleranalyse offenbart, dass beide Ansätze je nach Aufgabenstellung unterschiedliche Stärken aufweisen. Besonders hervorzuheben ist, dass die Aggregation von textbasierter und symbolischer Schlussfolgerungspfade, unterstützt durch einen Mix-Self-Consistency-Mechanismus, eine SOTA-Leistung erzielt – mit einer Genauigkeit von 73,6 % auf WIKITABLEQUESTIONS – und somit eine erhebliche Verbesserung gegenüber bisherigen Paradigmen zur Tabellenverarbeitung durch LLMs darstellt.