VCBench ist ein Benchmark-Datensatz zur Bewertung multimodalen mathematischen Denkens mit expliziten visuellen Abhängigkeiten, der 2025 von Alibaba und der Zhejiang-Universität veröffentlicht wurde. Der Datensatz enthält 1.720 Frage-Antwort-Paare und insgesamt 6.697 Bilder. Die Fragen umfassen im Wesentlichen folgende 6 Bereiche:

• Zeit und Kalender: Testet Fragen zum zeitlichen Denken in zwei Unterkategorien (Kalender und Uhr) und erfordert ein Verständnis von Zeitintervallen und kalenderbasierten Berechnungen.
• Raum und Position: Die Herausforderungen konzentrieren sich auf das räumliche Vorstellungsvermögen in drei Unterkategorien (Richtung, Position und Ort), um das Verständnis der relativen Position, Richtung und räumlichen Beziehungen zu beurteilen.
• Geometrie und Formen: Fragen zu fünf Unterkategorien (Winkel, Vierecke, Rechtecke, Formen und Dreiecke) testen das grundlegende geometrische Verständnis von der einfachen Formerkennung bis hin zur Analyse komplexerer Eigenschaften.
• Objekte und Bewegung: Aufgaben in zwei Unterkategorien (Würfel und Bewegung), die das Verständnis dreidimensionaler Objekte und Bewegungstransformationen bewerten.
• Argumentation und Beobachtung: Fragen in beiden Unterkategorien (Schlussfolgerung und Beobachtung) sind darauf ausgelegt, logisches Denken und sorgfältige visuelle Beobachtungsfähigkeiten zu testen.
• Organisation und Muster: Herausforderungen in drei Unterkategorien (Organisation, Muster und Gewichtung), zur Bewertung der Mustererkennung, Sequenzierung und Organisationslogik.

  

Zitat

@misc{wong2025vcbench
author    = {Zhikai Wang and Jiashuo Sun and Wenqi Zhang and Zhiqiang Hu and Xin Li and Fan Wang and Deli Zhao},
title     = {Benchmarking Multimodal Mathematical Reasoning with Explicit Visual Dependency},
year      = {2025},
eprint    = {2504.18589},
archivePrefix = {arxiv},
primaryClass  = {cs.CV},
url       = {https://arxiv.org/abs/2504.18589}
}