VCBench est un ensemble de données de référence pour l'évaluation du raisonnement mathématique multimodal avec des dépendances visuelles explicites, publié par Alibaba et l'Université du Zhejiang en 2025. L'ensemble de données contient 1 720 paires questions-réponses et un total de 6 697 images. Les questions portent principalement sur les 6 domaines suivants :

• Heure et calendrier : teste des questions de raisonnement temporel dans deux sous-catégories (calendrier et horloge), nécessitant une compréhension des intervalles de temps et des calculs basés sur le calendrier.
• Espace et position : les défis se concentrent sur le raisonnement spatial dans trois sous-catégories (direction, position et lieu) pour évaluer la compréhension de la position relative, de la direction et des relations spatiales.
• Géométrie et formes : Les questions couvrant cinq sous-catégories (angles, quadrilatères, rectangles, formes et triangles) testent la compréhension géométrique de base, de la reconnaissance des formes de base à l'analyse des propriétés plus complexes.
• Objets et mouvement : tâches dans deux sous-catégories (Cube et Déplacement) qui évaluent la compréhension des objets tridimensionnels et des transformations de mouvement.
• Raisonnement et observation : Les questions des deux sous-catégories (inférence et observation) sont conçues pour tester le raisonnement logique et les compétences d'observation visuelle minutieuse.
• Organisation et modèles : défis dans trois sous-catégories (organisation, modèle et poids), évaluant la reconnaissance des modèles, le séquençage et la logique organisationnelle.

  

Citation

@misc{wong2025vcbench
author    = {Zhikai Wang and Jiashuo Sun and Wenqi Zhang and Zhiqiang Hu and Xin Li and Fan Wang and Deli Zhao},
title     = {Benchmarking Multimodal Mathematical Reasoning with Explicit Visual Dependency},
year      = {2025},
eprint    = {2504.18589},
archivePrefix = {arxiv},
primaryClass  = {cs.CV},
url       = {https://arxiv.org/abs/2504.18589}
}