Mo2Cap2: 実時間モバイル3D動作捕捉システム - キャップ装着型魚眼カメラを使用して

私たちは、広範な制約のない日常活動におけるエゴセントリックな3次元人間体勢推定の最初のリアルタイムアプローチを提案します。この設定には、ハードウェアセットアップの移動性や、長時間のキャプチャセッションに対する堅牢性と追跡失敗からの高速回復などの一連の固有の課題があります。これらの課題に対処するために、単一の帽子に取り付けられた魚眼カメラを使用して高品質な体勢推定を行うための新しい軽量セットアップを開発しました。帽子に取り付けられた魚眼カメラから取得されたエゴセントリックなライブストリームに対して、私たちのCNNベースの3次元体勢推定アプローチは、一般消費者向けGPUで60Hzで動作します。新規ハードウェアセットアップに加えて、私たちの主な貢献は以下の2点です：1) 上方からの魚眼画像の大規模な真実データ訓練コーパス（top-down fisheye images）と 2) エゴセントリック視点の一意性を考慮した新しい分離型3次元体勢推定アプローチです。評価結果からも明らかなように、私たちは既存の基準モデルよりも低い3次元関節誤差と優れた2Dオーバーレイを達成しています。