Jeu De Données De Questions-réponses Sur Le Raisonnement Graphique Multimodal GITQA 

GITQA est le premier ensemble de données de réponses aux questions de raisonnement contenant des graphiques visuels, construit par l'Université des sciences et technologies de Hong Kong et l'Université des sciences et technologies du Sud en dessinant des structures graphiques dans des images visuelles de différents styles. L'ensemble de données contient plus de 423 000 instances de questions-réponses, chacune contenant des informations graphiques-textes-visuelles correspondantes et sa paire question-réponse correspondante.

L'ensemble de données contient deux versions : GITQA-Base et GITQA-Aug, où GITQA-Base ne contient que des images visuelles d'un seul style. GITQA-Aug est encore plus riche. Il exécute divers processus d'augmentation de données sur le graphique visuel, notamment la modification de la disposition, de la forme des points, de la largeur des bords et du style des points, offrant ainsi des représentations graphiques visuelles plus diversifiées. Cet ensemble de données peut être utilisé pour évaluer les performances du LLM basé sur la description de texte et du MLLM multimodal sur les tâches de raisonnement graphique, et pour étudier l'impact des informations visuelles sur le raisonnement graphique.