HyperAIHyperAI
vor 2 Monaten

RealCQA: Wissenschaftliches Diagrammfragenbeantworten als Testbetrieb für erster Ordnung Logik

Ahmed, Saleem ; Jawade, Bhavin ; Pandey, Shubham ; Setlur, Srirangaraj ; Govindaraju, Venu
RealCQA: Wissenschaftliches Diagrammfragenbeantworten als Testbetrieb für
 erster Ordnung Logik
Abstract

Wir präsentieren eine umfassende Studie zum Task des Chart-Visual-Question-Answering (QA), um die Herausforderungen bei der Verständnis- und Datenauswertung von Diagrammvisualisierungen in Dokumenten anzugehen. Trotz Bemühungen, dieses Problem mit synthetischen Diagrammen zu lösen, sind die Lösungen durch den Mangel an annotierten realen Daten begrenzt. Um diese Lücke zu schließen, führen wir ein Benchmark- und Datensatz für Chart-Visual-QA auf realen Diagrammen ein, der eine systematische Analyse des Tasks und eine neue Taxonomie zur erfragbasierten Erstellung von Diagrammfragen bietet. Unser Beitrag besteht darin, einen neuen Antworttyp, 'Liste', sowohl in sortierter als auch in unsortierter Variante einzuführen. Unsere Studie basiert auf einem Datensatz realer Diagramme aus wissenschaftlicher Literatur, der im Vergleich zu anderen Arbeiten eine höhere visuelle Komplexität aufweist. Unser Schwerpunkt liegt auf erfragbasierter QA und wie sie als Standard zur Bewertung der Fähigkeiten von Modellen im Bereich der Prädikatenlogik erster Stufe dienen kann. Die Ergebnisse unserer Experimente, die auf einem realen Out-of-Distribution-Datensatz durchgeführt wurden, bieten eine robuste Evaluation großer vorab trainierter Modelle und tragen zum Fortschritt des Feldes des Chart-Visual-QA sowie der formellen Logikverifikation für neuronale Netze im Allgemeinen bei.