ChartQA : Un Ensemble De Données De Référence Pour Répondre Aux Questions Sur Les Graphiques À L'aide D'un Raisonnement Visuel Et Logique

Contexte du jeu de données

Les graphiques sont très populaires dans l’analyse des données. Lorsqu’ils explorent des graphiques, les gens posent souvent une variété de questions de raisonnement complexes impliquant de multiples opérations logiques et arithmétiques. Ils ont également souvent mentionné les caractéristiques visuelles des graphiques dans leurs questions. Cependant, la plupart des ensembles de données existants ne se concentrent pas sur des problèmes de raisonnement aussi complexes, car leurs questions sont basées sur des modèles et les réponses proviennent d’un vocabulaire fixe.

Introduction à l'ensemble de données

Dans ce travail, l’équipe de recherche a proposé un benchmark à grande échelle, ChartQA, couvrant 9,6 000 questions rédigées par des humains et 23,1 000 questions générées à partir de résumés de graphiques rédigés par des humains.

Le système de réponse aux questions graphiques (ChartQA) prédit la réponse en saisissant un graphique et une question en langage naturel. Contrairement à l'assurance qualité basée sur du texte, les graphiques de ChartQA contiennent des représentations visuelles et les lecteurs peuvent prêter plus d'attention à certaines caractéristiques importantes, telles que les tendances, les valeurs aberrantes, etc. L'ensemble de données contient des graphiques du monde réel et des paires de questions-réponses écrites manuellement.

ChartQA diffère des ensembles de données précédents de deux manières :

type de question : rédigée par un humain ou basée sur un modèle
source du graphique : monde réel vs. généré à l'aide d'un outil

Collecte de données

Collecte et préparation des données

Extrait de quatre sites Web graphiques, couvrant différents thèmes et styles divers. Tout le contenu du site Web contenant le tableau de données sous-jacent peut être exploré.

Annotation des données

Il existe deux principales méthodes d'annotation :

Utilisez AMT (Amazon Mechanical Turk) pour collecter des paires QA écrites manuellement.

Questions combinatoires étiquetées par l'homme (contenant au moins deux opérations) et questions visuelles.

Générez des paires d'assurance qualité à partir de paires écrites par des humains à partir de Statista.