HumanSenseベンチマークは、西安交通大学がAnt Groupと共同で2025年に公開した人間の知覚評価ベンチマークデータセットです。関連する研究論文は「HumanSense: マルチモーダル知覚から共感的コンテキスト認識応答へ、推論MLLMを介し目標は、視覚、音声、テキストなどのマルチモーダル情報の融合によるモデルの現実世界でのインタラクティブ機能を総合的に測定することです。

このデータセットには、3,291件の動画ベースの質問と591件の音声ベースの質問が含まれており、難易度が徐々に上がる15のタスクをカバーしています。タスク構造は4層ピラミッド型で、以下の要素が含まれます。

• L1-L2 知覚層: 視覚、聴覚、およびクロスモーダル知覚の基本的かつ複雑な知覚機能。
• L3 理解層: 対話型状況に基づいて暗黙の関係、感情、状態を理解する能力。
• L4 応答レイヤー: 対話型シナリオにおける戦略的かつコンテキストに応じた応答機能。

このデータセットは、実際の動画、音声、マルチモーダル対話から質問を構築します。様々なオープンソースデータセットと実世界のシーン録画から生成され、外見認識や感情認識から関係性理解や心理対話まで、人間中心のインタラクションタスクを幅広く網羅しています。これは、現実の人間のコミュニケーションシナリオにより近い、現在のマルチモーダル評価ベンチマークの一つです。