EgoExoLearn クロスパースペクティブスキル学習データセット

このデータセットは、上海人工知能研究所、南京大学、中国科学院深セン先進技術研究所などの主要組織と、東京大学など多くの大学の学生や研究者によって共同で公開されました。復旦大学、浙江大学、中国科学技術大学。 EgoExoLearn は、ロボットが他者を観察することで新しい行動を学習できるようにすることを目的としています。

EgoExoLearn データセットのユニークな特徴は、一人称および三人称のビデオ映像を収集することです。一人称ビデオは、人間が三人称のデモンストレーション動作を学習するプロセス全体を記録し、この視点変換と融合により、機械が人間の学習モデルを模倣するための貴重なデータ リソースが提供されます。

このデータセットは、日常生活のさまざまなシナリオだけでなく、専門的な研究室での複雑な操作もカバーするように構築されています。 EgoExoLearn には、マシンがさまざまな環境で効果的に学習できるように設計された、合計 120 時間のパースペクティブとデモンストレーション ビデオが含まれています。

研究者らはビデオに加えて、高品質の視線データも記録し、詳細なマルチモーダル注釈を提供しました。これらのデータはアノテーションと結合され、人間の学習プロセスを包括的にシミュレートするプラットフォームを構築し、非同期アクション プロセスの機械モデリングの問題をさまざまな観点から解決するのに役立ちます。

EgoExoLearn データセットの価値を包括的に評価するために、研究者らは、視点間の相関関係、視点間の行動計画、視点間の参照スキル評価などの一連のベンチマーク テストを提案し、詳細な分析を実施しました。将来を見据えると、EgoExoLearn は視点を越えたアクションの橋渡しの重要な基礎となり、ロボットが現実世界の人間の行動をシームレスに学習できるよう確実なサポートを提供することになります。