HyperAIHyperAI

Command Palette

Search for a command to run...

Robuste (kontrollierte) Tabellen-zu-Text-Generierung mit strukturbewusster Äquivarianz-Lernung

Fei Wang Zhewei Xu Pedro Szekely Muhao Chen

Zusammenfassung

Die kontrollierte Tabellen-zu-Text-Generierung zielt darauf ab, natürlichsprachliche Beschreibungen für hervorgehobene Teilbereiche einer Tabelle zu erzeugen. Bisherige State-of-the-Art-Systeme verwenden weiterhin ein Sequenz-zu-Sequenz-Generierungsverfahren, das die Tabelle lediglich als lineare Struktur erfasst und daher anfällig für Änderungen im Tabellenlayout ist. Wir wollen dieses Paradigma überwinden, indem wir (1) die Beziehungen zwischen den einzelnen Inhaltselementen innerhalb der Tabelle effektiv ausdrücken und (2) unser Modell robuster gegenüber strukturellen Transformationen machen, die den Inhalt nicht verändern. Dementsprechend schlagen wir einen Äquivarianz-Lernrahmen vor, der Tabellen mit einem strukturbewussten Selbst-Attention-Mechanismus kodiert. Dieser reduziert die vollständige Selbst-Attention-Struktur auf einen ordnungsunabhängigen Graph-Attention-Mechanismus, der die verbundene Graphstruktur von Zellen innerhalb derselben Zeile oder Spalte erfasst, und unterscheidet strukturell zwischen relevanten und irrelevanten Zellen. Unser Rahmenwerk modifiziert zudem die Positionscodierung, um die relative Position von Token innerhalb derselben Zelle zu bewahren, gleichzeitig aber Positions-Invarianz zwischen verschiedenen Zellen zu gewährleisten. Unsere Technologie lässt sich nahtlos in bestehende Tabellen-zu-Text-Generierungsmodelle integrieren und verbessert T5-basierte Modelle, wodurch eine bessere Leistung auf ToTTo und HiTab erzielt wird. Zudem behalten wir auf einer anspruchsvolleren Version von ToTTo eine vielversprechende Leistung bei, während frühere State-of-the-Art-Systeme, selbst mit datenbasiertem Augmentierung durch Transformationen, erhebliche Leistungseinbußen zeigen. Unser Quellcode ist unter https://github.com/luka-group/Lattice verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Robuste (kontrollierte) Tabellen-zu-Text-Generierung mit strukturbewusster Äquivarianz-Lernung | Paper | HyperAI