HyperAIHyperAI

Command Palette

Search for a command to run...

TURL: Tabellenverstehen durch Repräsentationslernen

Xiang Deng Huan Sun Alyssa Lees You Wu Cong Yu

Zusammenfassung

Relationale Tabellen im Web speichern eine enorme Menge an Wissen. Aufgrund der Vielzahl dieser Tabellen gab es in den letzten Jahren erhebliche Fortschritte bei verschiedenen Aufgaben im Bereich der Tabellenverarbeitung. Allerdings basieren die bisherigen Arbeiten in der Regel auf stark ingenieurtechnisch gestalteten, aufgabenspezifischen Merkmalen und Modellarchitekturen. In diesem Artikel stellen wir TURL vor, einen neuen Rahmen, der das Paradigma des Vortrainings und Feinabstimmens für relationale Web-Tabellen einführt. Während des Vortrainings lernt unser Rahmen tiefe kontextuelle Darstellungen von relationalen Tabellen auf nicht überwachte Weise. Das universelle Modelldesign mit vortrainierten Darstellungen kann mit minimaler aufgabenspezifischer Feinabstimmung auf eine breite Palette von Aufgaben angewendet werden. Insbesondere schlagen wir einen strukturbewussten Transformer-Encoder vor, um die Zeilen-Spalten-Struktur relationaler Tabellen zu modellieren, und präsentieren ein neues Ziel für das Vortraining, nämlich die Maskierte Entitätsrekonstruktion (MER), um die Semantik und das Wissen in großen Mengen unbeschrifteter Daten zu erfassen. Wir evaluieren TURL systematisch anhand eines Benchmarks, der sechs verschiedene Aufgaben zur Verarbeitung relationaler Tabellen umfasst (z.B. Relationsextraktion, Zellenfüllung). Unsere Ergebnisse zeigen, dass TURL sich gut auf alle Aufgaben verallgemeinert und bestehende Methoden in fast allen Fällen erheblich übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp