HyperAIHyperAI

Command Palette

Search for a command to run...

SkelFormer: マーカーレス3Dポーズと形状推定を用いた骨格変換器

Vandad Davoodnia Saeed Ghorbani Alexandre Messier Ali Etemad

概要

私たちはSkelFormerという新しいマーカーレスモーションキャプチャパイプラインを紹介します。このパイプラインは、マルチビューの人間の姿勢と形状推定に使用されます。まず、大規模な自然環境データで事前学習された既存の2Dキーポイント推定器を使用して、3D関節位置を取得します。次に、回帰ベースの逆運動学骨格変換器を設計し、強いノイズが含まれる観測値から関節位置を姿勢と形状表現にマッピングします。このモジュールはポーズ空間に関する事前知識を統合し、実行時に完全なポーズ状態を推論します。3Dキーポイント検出と逆運動学問題を分離し、私たちの骨格変換器によって学習された表現力豊かな表現を使用することで、未見のノイジーデータに対する方法の汎化能力が向上します。私たちは3つの公開データセットで、分布内および分布外設定においてこの方法を評価しました。その結果、先行研究に対して優れた性能が確認されました。さらに、アブレーション実験により、アーキテクチャ内の各モジュールの影響が示されています。最後に、ノイズや重度のオクルージョン(遮蔽)に対する方法の性能について研究しました。その結果、他のソリューションと比較して相当な堅牢性が確認されました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
SkelFormer: マーカーレス3Dポーズと形状推定を用いた骨格変換器 | 記事 | HyperAI超神経