ビデオ理解技術の急速な進歩に伴い、既存のbenchmarkは飽和状態にあり、水増しされたリーダーボードのスコアとモデルの実際の能力との間に深刻な乖離が生じています。この広がり続けるギャップに対処するため、我々はビデオ理解の堅牢性（robustness）と忠実性（faithfulness）を厳格に評価するために設計された包括的なbenchmarkである「Video-MME-v2」を提案します。モデルの能力を体系的に評価するため、我々は段階的な3レベルの階層構造を設計しました。これは、複数地点の視覚情報の集約から、時間的ダイナミクス（temporal dynamics）のモデリング、そして最終的には複雑なマルチモーダル推論へと、ビデオ理解の複雑さを漸進的に高めていくものです。また、従来の質問ごとの正解率（accuracy）とは対照的に、関連するクエリ間の整合性と多段階推論の一貫性の両方を強制する「グループベースの非線形評価戦略」を提案します。この戦略は、断片的な回答や推測に基づいた正解に対してペナルティを科し、妥当な推論によって裏付けられた回答に対してのみ加点を行います。データの品質を保証するため、Video-MME-v2は12名の注釈者（annotator）と50名の独立した査読者を含む、厳格に管理されたヒューマンアノテーションpipelineを通じて構築されました。3,300時間に及ぶ人的作業と最大5ラウンドの品質保証に裏打ちされたVideo-MME-v2は、最も権威あるビデオbenchmarkの一つとなることを目指しています。広範な実験の結果、現在の最高性能モデルであるGemini-3-Proと人間のエキスパートとの間には大幅な格差があることが明らかになりました。さらに、視覚情報の集約や時間的モデリングにおけるエラーが上位レベルの推論を制限するという、明確な階層的ボトルネックも浮き彫りになりました。加えて、思考ベースの推論（thinking-based reasoning）はテキストのヒントに強く依存しており、字幕があることで性能が向上する一方で、純粋な視覚的環境では性能が低下する場合があることも判明しました。これらの限界を露呈させることで、Video-MME-v2は次世代のビデオMLLMの開発に向けた、極めて要求水準の高い新たなテストベッドを確立します。