ワールドモデルベンチ（WMベンチ）は、世界モデルと具現化されたAIシステムの認知能力を評価するための世界初のベンチマークです。従来の画像や動画の品質評価を超え、モデルの認知能力に焦点を当てることを目指しています。 このデータセットは、知覚、認知、具現化という3つの主要な側面を網羅し、世界モデルの能力評価を中心に構築されています。さらに、環境理解、実体認識と分類、予測に基づく推論など、10種類のタスクに細分化されています。また、複雑な環境におけるモデルの認知能力と意思決定能力を体系的に評価するために設計された、100種類の多様なシナリオも含まれています。

データフィールド:

• id: サンプルの一意の識別子
• cat: タスクカテゴリラベル
• scene_context: シーンコンテキスト入力
• 予測：危険箇所と安全方向を示す予測出力。
• 動作：動作の出力であり、その動作に伴う感情を表す。