人間は輸送生態系の重要な構成要素であり、その行動を理解することは安全な運転システムの開発を促進するために不可欠です。最近の研究では、人間の行動に関する様々な側面（運動、軌跡、意図など）が探られていますが、自動運転における人間の行動理解を評価するための包括的なベンチマークはまだ存在していません。本研究では、MMHUと呼ばれる大規模なベンチマークを提案します。このベンチマークには豊富な注釈が含まれており、人間の運動や軌跡、人間の運動に関するテキスト記述、人間の意図、および運転安全に関連する重要行動ラベルなどが特徴として挙げられます。当データセットは多様なソースから収集された57,000件の人間運動クリップと173万フレームで構成されており、Waymoなどの確立された運転データセット、YouTubeからの野生環境映像、自ら収集したデータなどを含んでいます。ヒューマンインザループ方式による注釈パイプラインを開発し、豊富な行動キャプションを生成しています。私たちはデータセット分析を行い、動作予測から動作生成まで人間の行動に関する質問応答まで複数のタスクをベンチマーク化することで、広範な評価スイートを提供しています。プロジェクトページ: https://MMHU-Benchmark.github.io.