HyperAIHyperAI

Command Palette

Search for a command to run...

Antworten auf Fragen zu Datenvisualisierungen durch effiziente bimodale Fusion

Kushal Kafle Robik Shrestha Brian Price Scott Cohen Christopher Kanan

Zusammenfassung

Chart Question Answering (CQA) ist eine neu vorgeschlagene Aufgabe im Bereich der visuellen Fragebeantwortung (VQA), bei der ein Algorithmus Fragen zu Datenvisualisierungen wie Balkendiagrammen, Kreisdiagrammen und Liniendiagrammen beantworten muss. CQA erfordert Fähigkeiten, die Algorithmen für natürliche Bilder im VQA-Muster nicht besitzen: feingranulare Messungen, optische Zeichenerkennung (OCR) und die Behandlung von Wörtern außerhalb des Wortschatzes sowohl in den Fragen als auch in den Antworten. Ohne Modifikationen schneiden state-of-the-art VQA-Algorithmen bei dieser Aufgabe schlecht ab. In diesem Beitrag stellen wir einen neuen CQA-Algorithmus vor, den parallelen rekurrenten Fusion von Bild- und Sprachmerkmalen (PReFIL). PReFIL lernt zunächst bimodale Einbettungen durch die Fusion von Frage- und Bildmerkmalen und aggregiert diese gelernten Einbettungen dann intelligent, um die gestellte Frage zu beantworten. Trotz seiner Einfachheit übertrifft PReFIL sowohl auf den FigureQA- als auch auf den DVQA-Datensätzen die state-of-the-art Systeme und menschliche Baselines deutlich. Darüber hinaus zeigen wir, dass PReFIL verwendet werden kann, um Tabellen durch das Stellen einer Reihe von Fragen zu einem Diagramm wiederherzustellen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Antworten auf Fragen zu Datenvisualisierungen durch effiziente bimodale Fusion | Paper | HyperAI