HyperAIHyperAI

Command Palette

Search for a command to run...

VirtualPose: 仮想データから一般化可能な3次元ヒューマンポーズモデルを学習する

Jiajun Su Chunyu Wang * Xiaoxuan Ma Wenjun Zeng Yizhou Wang

概要

単眼3次元姿勢推定は、公開データセット上で非常に正確な結果を達成しているように見えますが、その汎化能力は大きく見落とされています。本研究では、既存の手法を系統的に評価し、異なるカメラ、人間の姿勢、外見に対してテストを行うと著しく大きな誤差が生じることを見出しました。この問題に対処するために、私たちは VirtualPose(バーチャルポーズ)という2段階学習フレームワークを導入します。これは、このタスクに特有の隠れた「無料の昼食」(つまり、コストなしで無限の数の姿勢とカメラを生成してモデルを訓練すること)を利用することを目指しています。そのため、第1段階では画像を抽象幾何表現(AGR)に変換し、その後第2段階ではそれらを3次元姿勢にマッピングします。このフレームワークは2つの側面から汎化問題に対処します:(1) 第1段階は多様な2Dデータセットで訓練できるため、限定的な外見への過学習リスクを低減できます;(2) 第2段階は多数の仮想カメラと姿勢から合成された多様なAGRで訓練できます。VirtualPoseはベンチマークからのペア画像や3次元姿勢を使用せずにSOTA(最先端)手法を上回り、実用的な応用への道を開きます。コードは https://github.com/wkom/VirtualPose で利用可能です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています