EgoExoLearn: 実世界の手順活動における非同期的なエゴセントリックとエクソセントリック視点を橋渡すデータセット

他人の活動を自身の視点にマッピングする能力は、非常に幼い頃から人間に備わっている基本的なスキルの一つです。この人間の能力を理解する一歩として、私たちは EgoExoLearn を紹介します。これは、大規模なデータセットで、人々がデモンストレーション動画に誘導されてタスクを実行しながら主観視点動画を記録する過程を模倣しています。日常生活支援や専門的なサポートへの潜在的な応用に焦点を当て、EgoExoLearn には日常的な場面と専門的な研究所で撮影された120時間分の主観視点動画とデモンストレーション動画データが含まれています。これらの動画とともに、高品質な視線データを記録し、詳細な多モーダル注釈を提供することで、異なる視点からの非同期的手順行動をつなぐ人間の能力モデリングのための試験場を作り出しています。この目的のために、クロスビュー関連付け、クロスビュー行動計画立案、クロスビューリファレンスに基づく技能評価などのベンチマークと詳細な分析結果を提示します。私たちは EgoExoLearn が異なる視点間での行動橋渡しの重要なリソースとなり、現実世界で人間の行動を観察してシームレスに学習できるAIエージェントの開発につながることを期待しています。コードとデータは以下のURLから入手できます：https://github.com/OpenGVLab/EgoExoLearn