Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based Motion Refinement エゴセントリック全身動作捕捉におけるFisheyeViTと拡散型動作精緻化の利用

本研究では、単一の魚眼カメラを使用してエゴセントリックな全身動作をキャプチャする方法を探索し、同時に人体と手の動きを推定します。このタスクは、高品質なデータセットの不足、魚眼カメラの歪み、および人体の自己遮蔽という3つの要因により大きな課題を呈しています。これらの課題に対処するために、我々はFisheyeViT（魚眼画像特徴量抽出）を活用した新しいアプローチを提案します。このアプローチでは、魚眼画像からピクセルアライメントされた3Dヒートマップ表現に変換することで、3D人体姿勢予測を行います。手の追跡については、専用の手検出ネットワークと手姿勢推定ネットワークを組み込み、3D手姿勢を回帰します。最後に、関節の不確実性も考慮しながら推定された全身動作を洗練するため、拡散ベースの全身動作事前モデルを開発しました。これらのネットワークを訓練するために、840,000枚の高品質なエゴセントリック画像から構成される大規模な合成データセットEgoWholeBody（エゴワールボディ）を集めました。定量的および定性的評価により、本手法が単一のエゴセントリックカメラから高品質な全身動作推定を行う有効性が示されています。