HyperAIHyperAI

Command Palette

Search for a command to run...

PyMAF: ピラミダルメッシュアライメントを用いた3次元人間ポーズと形状の回帰フィードバックループ

Hongwen Zhang§†* Yating Tian†* Xinchi Zhou‡ Wanli Ouyang‡ Yebin Liu‡ Limin Wang† ☞ Zhenan Sun§ ☞

概要

回帰ベースの手法は、単眼画像から人間のメッシュを再構築する分野で最近有望な結果を示しています。これらの手法は、ニューラルネットワークを通じて、生のピクセルをモデルパラメータに直接マッピングすることで、前向きにパラメトリックモデルを生成することができます。しかし、パラメータの小さなずれが、推定されたメッシュと画像証拠との間に顕著な不一致を引き起こす可能性があります。この問題に対処するために、我々は特徴ピラミッドを利用し、深層回帰器においてメッシュ-画像のアライメント状態に基づいて予測パラメータを明示的に修正するためのピラミダル・メッシュ・アライメント・フィードバック(PyMAF)ループを提案します。PyMAFでは、現在予測されたパラメータに基づき、高解像度の特徴から対応するメッシュアライメント証拠が抽出され、パラメータ修正のためにフィードバックされます。これらの証拠のノイズを低減し信頼性を向上させるために、特徴エンコーダに対して補助的な画素単位の監督が課されます。これにより、ネットワークは空間的な特徴の中で最も関連性のある情報を保存するために、メッシュ-画像対応ガイドが提供されます。我々の手法の有効性は、Human3.6M, 3DPW, LSP, COCOなどのいくつかのベンチマークで検証されており、実験結果は我々の手法が一貫して再構築したメッシュと画像とのアライメントを改善することを示しています。プロジェクトページにはコードとビデオ結果が掲載されており、以下のURLでアクセスできます: https://hongwenzhang.github.io/pymaf.


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています