HyperAIHyperAI

Command Palette

Search for a command to run...

RealCQA: Wissenschaftliches Diagrammfragenbeantworten als Testbetrieb für erster Ordnung Logik

Saleem Ahmed Bhavin Jawade Shubham Pandey Srirangaraj Setlur Venu Govindaraju

Zusammenfassung

Wir präsentieren eine umfassende Studie zum Task des Chart-Visual-Question-Answering (QA), um die Herausforderungen bei der Verständnis- und Datenauswertung von Diagrammvisualisierungen in Dokumenten anzugehen. Trotz Bemühungen, dieses Problem mit synthetischen Diagrammen zu lösen, sind die Lösungen durch den Mangel an annotierten realen Daten begrenzt. Um diese Lücke zu schließen, führen wir ein Benchmark- und Datensatz für Chart-Visual-QA auf realen Diagrammen ein, der eine systematische Analyse des Tasks und eine neue Taxonomie zur erfragbasierten Erstellung von Diagrammfragen bietet. Unser Beitrag besteht darin, einen neuen Antworttyp, 'Liste', sowohl in sortierter als auch in unsortierter Variante einzuführen. Unsere Studie basiert auf einem Datensatz realer Diagramme aus wissenschaftlicher Literatur, der im Vergleich zu anderen Arbeiten eine höhere visuelle Komplexität aufweist. Unser Schwerpunkt liegt auf erfragbasierter QA und wie sie als Standard zur Bewertung der Fähigkeiten von Modellen im Bereich der Prädikatenlogik erster Stufe dienen kann. Die Ergebnisse unserer Experimente, die auf einem realen Out-of-Distribution-Datensatz durchgeführt wurden, bieten eine robuste Evaluation großer vorab trainierter Modelle und tragen zum Fortschritt des Feldes des Chart-Visual-QA sowie der formellen Logikverifikation für neuronale Netze im Allgemeinen bei.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp