UnrealEgo: 健全なエゴセントリック3D人間動作キャプチャのための新しいデータセット

私たちは、エゴセントリックな3次元人間姿勢推定のための新しい大規模な自然的なデータセットであるUnrealEgoを紹介します。UnrealEgoは、2つの魚眼カメラが装備された先進的なアイウェアの概念に基づいており、制約のない環境で使用することができます。私たちはその仮想プロトタイプを設計し、3次元人間モデルに取り付けてステレオビューのキャプチャを行います。その後、大規模な人間動作コーパスを生成します。その結果、UnrealEgoは既存のエゴセントリックデータセットの中で最も多様な動作を提供する初めてのデータセットとなります。さらに、ステレオ入力に対して2次元キーポイント推定モジュールを考案することで3次元人間姿勢推定を改善する、単純ながら効果的な新しいベンチマーク手法を提案します。広範な実験により、私たちの手法が従来の最先端手法よりも定性的および定量的に優れていることが示されています。UnrealEgoと私たちのソースコードはプロジェクトウェブページで公開されています。