TabFact: Ein umfangreiches Datensatz für die Überprüfung von Fakten in Tabellen

Das Problem der Überprüfung, ob eine textuelle Hypothese auf der Grundlage der gegebenen Beweise zutrifft, auch bekannt als Faktüberprüfung, spielt eine wichtige Rolle bei der Erforschung des natürlichsprachlichen Verstehens und der semantischen Repräsentation. Bestehende Studien konzentrieren sich jedoch hauptsächlich auf die Bearbeitung von unstrukturierten Beweisen (z.B. natürlichsprachliche Sätze und Dokumente, Nachrichten usw.), während die Überprüfung unter strukturierten Beweisen wie Tabellen, Graphen und Datenbanken noch wenig erforscht ist. Diese Arbeit befasst sich speziell mit der Faktüberprüfung unter Berücksichtigung halbstrukturierter Daten als Beweis. Zu diesem Zweck erstellen wir einen umfangreichen Datensatz namens TabFact, der 16.000 Wikipedia-Tabellen als Beweismittel für 118.000 menschlich annotierte natürlichsprachliche Aussagen enthält, die als ENTAILED oder REFUTED gekennzeichnet sind. TabFact ist herausfordernd, da es sowohl weiche linguistische Schlussfolgerungen als auch harte symbolische Schlussfolgerungen erfordert. Um diese Herausforderungen zu bewältigen, entwickeln wir zwei verschiedene Modelle: Table-BERT und den Latent Program Algorithmus (LPA). Table-BERT nutzt das neueste vortrainierte Sprachmodell, um die linearisierten Tabellen und Aussagen in kontinuierliche Vektoren zur Überprüfung zu kodieren. LPA analysiert die Aussagen in Programme und führt sie gegen die Tabellen aus, um einen binären Rückgabewert für die Überprüfung zu erhalten. Beide Methoden erreichen ähnliche Genauigkeiten, fallen aber immer noch weit hinter die menschliche Leistung zurück. Wir führen außerdem eine umfassende Analyse durch, um große zukünftige Möglichkeiten aufzuzeigen. Der Datensatz sowie das dazugehörige Code werden unter \url{https://github.com/wenhuchen/Table-Fact-Checking} bereitgestellt.