野生環境画像からの3次元人間形状および姿勢推定のための階層的運動学確率分布

本論文では、RGB画像から3次元人間体形と姿勢を推定する問題を取り扱っています。この問題はしばしば不適切な問題となり、特に被写体が隠蔽されている場合、入力に含まれる視覚的証拠に適合する複数の合理的な3次元体形が存在する可能性があります。したがって、単一の3次元再構築ではなく、入力画像に基づいて3次元体形と姿勢の分布を推定することが望ましいです。私たちは深層ニューラルネットワークを訓練して、人間の運動学的木構造を利用し、相対的な3次元関節回転行列（つまり、体勢）に対する階層的なマトリックス・フィッシャー分布を推定します。また、SMPL体形パラメータに対するガウス分布も推定します。予測された形状と姿勢分布が入力画像の視覚的証拠に適合することをさらに確保するために、微分可能な拒否サンプリング手法を実装し、真値2次元関節座標と予測分布からのサンプル（画像平面上への投影）との再投影損失を課しています。我々の方法はSSP-3Dおよび3DPWデータセットにおける3次元形状と姿勢指標において最先端技術と競合しており、同時に3次元人間体形と姿勢に関する構造化された確率分布も生成します。これにより、予測の不確実性を意味的に量化し、複数の合理的な3次元再構築サンプルを生成して特定の入力画像を説明することが可能となります。コードは https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman で入手可能です。