VRC-Bench ist der erste Benchmark, der speziell für multimodale Schritt-für-Schritt-Argumentationsaufgaben entwickelt wurde. Ziel ist eine umfassende Bewertung der Leistung von Modellen in komplexen Denkszenarien. Es wurde 2025 von der Mohamed bin Zayed University of Artificial Intelligence, der University of Central Florida, der Universität Linköping und der Australian National University veröffentlicht. Die entsprechenden Ergebnisse der Studie sind „LlamaV-o1: Schrittweises visuelles Denken in LLMs neu denken". Im Gegensatz zu herkömmlichen Benchmarks, die sich nur auf die Genauigkeit des Endergebnisses konzentrieren, konzentriert sich VRC-Bench auf die Bewertung der Qualität jedes einzelnen Denkschritts und bietet eine detailliertere Bewertung der Modellfähigkeiten. Der Datensatz deckt Herausforderungen in acht verschiedenen Bereichen ab, darunter visuelles Denken, mathematisches und logisches Denken, wissenschaftliches Denken, kulturelles und soziales Verständnis usw. Diese Aufgaben beinhalten komplexe visuelle Wahrnehmung, wissenschaftliches Denken, medizinische Bildinterpretation und andere Szenarien und enthalten mehr als 4.000 manuell überprüfte Denkschritte, mit denen die Genauigkeit und logische Kohärenz des Modells im mehrstufigen Denken umfassend bewertet werden kann.

Zitat

@misc{thawakar2025llamavo1,
title={LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs},
author={Omkar Thawakar and Dinura Dissanayake and Ketan More and Ritesh Thawkar and Ahmed Heakl and Noor Ahsan and Yuhao Li and Mohammed Zumri and Jean Lahoud and Rao Muhammad Anwer and Hisham Cholakkal and Ivan Laptev and Mubarak Shah and Fahad Shahbaz Khan and Salman Khan},
year={2025},
eprint={2501.06186},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2501.06186},
}