HyperAIHyperAI

Command Palette

Search for a command to run...

UniChart: Ein universelles visuell-sprachliches vorabtrainiertes Modell für die Chart-Verarbeitung und -Analyse

Ahmed Masry* Parsa Kavehzadeh* Xuan Long Do† Enamul Hoque* Shafiq Joty**

Zusammenfassung

Diagramme sind sehr beliebt für die Analyse von Daten, die Visualisierung wichtiger Erkenntnisse und das Beantworten komplexer Schlussfolgerungsfragen zu Daten. Um die datenbasierte Analyse mit Hilfe von Diagrammen durch natürliche Sprache zu erleichtern, wurden kürzlich mehrere nachgelagerte Aufgaben eingeführt, wie zum Beispiel Chart-Fragebeantwortung und Chart-Zusammenfassung. Allerdings verwenden die meisten Methoden, die diese Aufgaben lösen, ein Vortraining anhand von Sprachaufgaben oder visuellen-Sprachaufgaben, bei denen nicht versucht wird, die Struktur der Diagramme explizit zu modellieren (z.B., wie Daten visuell kodiert werden und wie sich Diagrammelemente zueinander verhalten).Um dieses Problem anzugehen, bauen wir zunächst einen umfangreichen Korpus von Diagrammen auf, der eine breite Vielfalt an Themen und visuellen Stilen abdeckt. Wir stellen dann UniChart vor, ein vortrainiertes Modell zur Verständnis- und Schlussfolgerungsfähigkeit bei Diagrammen. UniChart kodiert den relevanten Text, die Daten und die visuellen Elemente der Diagramme und verwendet anschließend einen textbasierten Decoder, der auf den Diagrammen aufgebaut ist, um die erwartete Ausgabe in natürlicher Sprache zu generieren.Wir schlagen mehrere diagrammspezifische Vortrainieraufgaben vor, darunter: (i) niedrigstufige Aufgaben zur Extraktion der visuellen Elemente (z.B., Balken, Linien) und der Daten aus den Diagrammen sowie (ii) hochstufige Aufgaben zur Erwerbung von Fähigkeiten im Verstehen und Schlussfolgern von Diagrammen. Wir stellen fest, dass das Vortrainieren des Modells anhand eines großen Korpus mit diagrammspezifischen niedrig- und hochstufigen Aufgaben gefolgt vom Feinjustieren an drei nachgelagerten Aufgaben zu einem Stand-der-Kunst-Ergebnis bei diesen drei nachgelagerten Aufgaben führt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp