SkelFormer: マーカーレス3Dポーズと形状推定を用いた骨格変換器

私たちはSkelFormerという新しいマーカーレスモーションキャプチャパイプラインを紹介します。このパイプラインは、マルチビューの人間の姿勢と形状推定に使用されます。まず、大規模な自然環境データで事前学習された既存の2Dキーポイント推定器を使用して、3D関節位置を取得します。次に、回帰ベースの逆運動学骨格変換器を設計し、強いノイズが含まれる観測値から関節位置を姿勢と形状表現にマッピングします。このモジュールはポーズ空間に関する事前知識を統合し、実行時に完全なポーズ状態を推論します。3Dキーポイント検出と逆運動学問題を分離し、私たちの骨格変換器によって学習された表現力豊かな表現を使用することで、未見のノイジーデータに対する方法の汎化能力が向上します。私たちは3つの公開データセットで、分布内および分布外設定においてこの方法を評価しました。その結果、先行研究に対して優れた性能が確認されました。さらに、アブレーション実験により、アーキテクチャ内の各モジュールの影響が示されています。最後に、ノイズや重度のオクルージョン（遮蔽）に対する方法の性能について研究しました。その結果、他のソリューションと比較して相当な堅牢性が確認されました。