ReasonMap トラフィックグラフ推論ベンチマークデータセット

このデータセットは、ウェストレイク大学、シンガポール国立大学、浙江大学、華中科技大学のチームによって2025年に提案された新しい評価ベンチマークです。関連する論文結果は次のとおりです。MLLMは家まで案内してくれるのか？ 交通地図からのきめ細かな視覚的推論に関するベンチマーク調査ReasonMapは、画像内の空間関係と経路推論に重点を置いています。高解像度の交通地図（主に地下鉄路線図）に焦点を当てた初のマルチモーダル推論評価ベンチマークであり、大規模モデルが画像内のきめ細かな構造化空間情報を理解する能力を評価するように設計されています。

データセットの機能:

• 高解像度の課題: データセット内の各マップ画像の平均解像度は 5839 × 5449 と高く、これは既存の視覚的推論タスクよりもはるかに高いため、モデルの画像エンコード機能に対する要件が高くなります。

• 難易度を考慮した設計: 画像には難易度のラベルが付けられ、さまざまな難易度レベルでの質問と回答のペアがバランスよく分散されるため、モデルの機能をより包括的に評価するのに役立ちます。

• 多次元評価システム: モデルの回答の精度を検査するだけでなく、パスの合理性や乗り換え戦略など、モデルルートの品質をきめ細かく評価します。

• 実際の使用シナリオに近い: タスクは画像推論に直接基づいており、構造化ミドルウェアに依存せず、マップを使用するときの人間の考え方に近いです。