ChartQA : Un benchmark pour les questions-réponses sur les graphiques avec raisonnement visuel et logique

Les graphiques sont très populaires pour l'analyse des données. Lorsqu'ils explorent ces graphiques, les gens posent souvent une variété de questions complexes impliquant plusieurs opérations logiques et arithmétiques. Ils font également fréquemment référence aux caractéristiques visuelles d'un graphique dans leurs questions. Cependant, la plupart des jeux de données existants ne se concentrent pas sur de telles questions complexes, car leurs questions sont basées sur des modèles et les réponses proviennent d'un vocabulaire fixe. Dans cette étude, nous présentons un benchmark à grande échelle couvrant 9 600 questions écrites par des humains ainsi que 23 100 questions générées à partir de résumés de graphiques écrits par des humains. Pour relever les défis uniques de notre benchmark, qui impliquent le raisonnement visuel et logique sur les graphiques, nous proposons deux modèles basés sur des transformers qui combinent les caractéristiques visuelles et le tableau de données du graphique de manière unifiée afin de répondre aux questions. Bien que nos modèles obtiennent des résultats à l'état de l'art sur les jeux de données précédents ainsi que sur notre benchmark, l'évaluation met également en lumière plusieurs défis dans la réponse aux questions complexes nécessitant du raisonnement.