UniChart: Ein universelles visuell-sprachliches vorabtrainiertes Modell für die Chart-Verarbeitung und -Analyse

Diagramme sind sehr beliebt für die Analyse von Daten, die Visualisierung wichtiger Erkenntnisse und das Beantworten komplexer Schlussfolgerungsfragen zu Daten. Um die datenbasierte Analyse mit Hilfe von Diagrammen durch natürliche Sprache zu erleichtern, wurden kürzlich mehrere nachgelagerte Aufgaben eingeführt, wie zum Beispiel Chart-Fragebeantwortung und Chart-Zusammenfassung. Allerdings verwenden die meisten Methoden, die diese Aufgaben lösen, ein Vortraining anhand von Sprachaufgaben oder visuellen-Sprachaufgaben, bei denen nicht versucht wird, die Struktur der Diagramme explizit zu modellieren (z.B., wie Daten visuell kodiert werden und wie sich Diagrammelemente zueinander verhalten).Um dieses Problem anzugehen, bauen wir zunächst einen umfangreichen Korpus von Diagrammen auf, der eine breite Vielfalt an Themen und visuellen Stilen abdeckt. Wir stellen dann UniChart vor, ein vortrainiertes Modell zur Verständnis- und Schlussfolgerungsfähigkeit bei Diagrammen. UniChart kodiert den relevanten Text, die Daten und die visuellen Elemente der Diagramme und verwendet anschließend einen textbasierten Decoder, der auf den Diagrammen aufgebaut ist, um die erwartete Ausgabe in natürlicher Sprache zu generieren.Wir schlagen mehrere diagrammspezifische Vortrainieraufgaben vor, darunter: (i) niedrigstufige Aufgaben zur Extraktion der visuellen Elemente (z.B., Balken, Linien) und der Daten aus den Diagrammen sowie (ii) hochstufige Aufgaben zur Erwerbung von Fähigkeiten im Verstehen und Schlussfolgern von Diagrammen. Wir stellen fest, dass das Vortrainieren des Modells anhand eines großen Korpus mit diagrammspezifischen niedrig- und hochstufigen Aufgaben gefolgt vom Feinjustieren an drei nachgelagerten Aufgaben zu einem Stand-der-Kunst-Ergebnis bei diesen drei nachgelagerten Aufgaben führt.