PyMAF: ピラミダルメッシュアライメントを用いた3次元人間ポーズと形状の回帰フィードバックループ

回帰ベースの手法は、単眼画像から人間のメッシュを再構築する分野で最近有望な結果を示しています。これらの手法は、ニューラルネットワークを通じて、生のピクセルをモデルパラメータに直接マッピングすることで、前向きにパラメトリックモデルを生成することができます。しかし、パラメータの小さなずれが、推定されたメッシュと画像証拠との間に顕著な不一致を引き起こす可能性があります。この問題に対処するために、我々は特徴ピラミッドを利用し、深層回帰器においてメッシュ-画像のアライメント状態に基づいて予測パラメータを明示的に修正するためのピラミダル・メッシュ・アライメント・フィードバック（PyMAF）ループを提案します。PyMAFでは、現在予測されたパラメータに基づき、高解像度の特徴から対応するメッシュアライメント証拠が抽出され、パラメータ修正のためにフィードバックされます。これらの証拠のノイズを低減し信頼性を向上させるために、特徴エンコーダに対して補助的な画素単位の監督が課されます。これにより、ネットワークは空間的な特徴の中で最も関連性のある情報を保存するために、メッシュ-画像対応ガイドが提供されます。我々の手法の有効性は、Human3.6M, 3DPW, LSP, COCOなどのいくつかのベンチマークで検証されており、実験結果は我々の手法が一貫して再構築したメッシュと画像とのアライメントを改善することを示しています。プロジェクトページにはコードとビデオ結果が掲載されており、以下のURLでアクセスできます: https://hongwenzhang.github.io/pymaf.