RealCQA : Répondre aux Questions sur les Graphiques Scientifiques comme Plateforme de Test pour la Logique du Premier Ordre

Nous présentons une étude exhaustive de la tâche de réponse à des questions visuelles sur les graphiques (chart visual question-answering, QA), afin d'aborder les défis liés à la compréhension et à l'extraction de données à partir de visualisations graphiques dans les documents. Malgré les efforts déployés pour résoudre ce problème en utilisant des graphiques synthétiques, les solutions sont limitées par le manque de données réelles annotées. Pour combler cette lacune, nous introduisons un benchmark et un ensemble de données pour la tâche de chart visual QA sur des graphiques du monde réel, offrant une analyse systématique de la tâche ainsi qu'une nouvelle taxonomie pour la création de questions basées sur des modèles. Notre contribution inclut également l'introduction d'un nouveau type de réponse, « liste », avec ses variantes classées et non classées. Notre étude est menée sur un ensemble de données de graphiques réels provenant de la littérature scientifique, mettant en évidence une complexité visuelle supérieure par rapport aux autres travaux. Nous nous concentrons sur la QA basée sur des modèles et sur la manière dont elle peut servir de référence pour évaluer les capacités en logique du premier ordre des modèles. Les résultats de nos expériences, réalisées sur un ensemble de données réelles hors distribution, fournissent une évaluation robuste des grands modèles pré-entraînés et contribuent à l'avancement du domaine de chart visual QA ainsi que de la vérification logique formelle pour les réseaux neuronaux en général.