TURL: Tabellenverstehen durch Repräsentationslernen

Relationale Tabellen im Web speichern eine enorme Menge an Wissen. Aufgrund der Vielzahl dieser Tabellen gab es in den letzten Jahren erhebliche Fortschritte bei verschiedenen Aufgaben im Bereich der Tabellenverarbeitung. Allerdings basieren die bisherigen Arbeiten in der Regel auf stark ingenieurtechnisch gestalteten, aufgabenspezifischen Merkmalen und Modellarchitekturen. In diesem Artikel stellen wir TURL vor, einen neuen Rahmen, der das Paradigma des Vortrainings und Feinabstimmens für relationale Web-Tabellen einführt. Während des Vortrainings lernt unser Rahmen tiefe kontextuelle Darstellungen von relationalen Tabellen auf nicht überwachte Weise. Das universelle Modelldesign mit vortrainierten Darstellungen kann mit minimaler aufgabenspezifischer Feinabstimmung auf eine breite Palette von Aufgaben angewendet werden. Insbesondere schlagen wir einen strukturbewussten Transformer-Encoder vor, um die Zeilen-Spalten-Struktur relationaler Tabellen zu modellieren, und präsentieren ein neues Ziel für das Vortraining, nämlich die Maskierte Entitätsrekonstruktion (MER), um die Semantik und das Wissen in großen Mengen unbeschrifteter Daten zu erfassen. Wir evaluieren TURL systematisch anhand eines Benchmarks, der sechs verschiedene Aufgaben zur Verarbeitung relationaler Tabellen umfasst (z.B. Relationsextraktion, Zellenfüllung). Unsere Ergebnisse zeigen, dass TURL sich gut auf alle Aufgaben verallgemeinert und bestehende Methoden in fast allen Fällen erheblich übertrifft.