VRC-Bench は、マルチモーダルなステップバイステップ推論タスク用に特別に設計された最初のベンチマークであり、複雑な推論シナリオにおけるモデルのパフォーマンスを包括的に評価することを目的としており、中央大学のモハメド ビン ザイード人工知能大学によって開発されました。フロリダ大学、リンシェーピング大学、オーストラリア国立大学は2025年に発表される予定で、関連する論文結果は「LlamaV-o1: LLM における段階的な視覚的推論の再考”。最終結果の精度のみに焦点を当てた従来のベンチマークとは異なり、VRC-Bench は各推論ステップの品質の評価に焦点を当て、モデルの機能をより詳細に評価します。 このデータセットは、視覚的推論、数学的および論理的推論、科学的推論、文化的および社会的理解などを含む 8 つの異なる分野の課題をカバーしています。これらのタスクには、複雑な視覚的知覚、科学的推論、医療画像の解釈、および 4K を超えるその他のシナリオが含まれます。手動で検証された推論ステップにより、複数ステップの推論におけるモデルの精度と論理的一貫性の包括的な評価が可能になります。

引用

@misc{thawakar2025llamavo1,
title={LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs},
author={Omkar Thawakar and Dinura Dissanayake and Ketan More and Ritesh Thawkar and Ahmed Heakl and Noor Ahsan and Yuhao Li and Mohammed Zumri and Jean Lahoud and Rao Muhammad Anwer and Hisham Cholakkal and Ivan Laptev and Mubarak Shah and Fahad Shahbaz Khan and Salman Khan},
year={2025},
eprint={2501.06186},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2501.06186},
}