3D マルチボディ: 不明瞭な画像データに適合する一連の実現可能な3Dヒューマンモデルのフィッティング

単一視点や部分的に遮蔽された視点から人間の高密度3次元再構成を取得する問題について考察します。このような場合、視覚的な証拠は通常、3次元再構成を一意に特定するのに十分ではありません。そのため、入力データと適合する複数の信頼性のある再構成を回復することを目指しています。私たちは、人間の可能な体形や姿勢をSMPLなどの適切な3次元モデルによってパラメータ化することで、曖昧さをより効果的にモデル化できると考えています。ここでは、各M仮説が生成モデルによって信頼性のある人間の姿勢の多様体上にあることを制約するbest-of-M損失を使用した多仮説ニューラルネットワーク回帰器の学習を提案します。実験結果から、私たちの手法は標準的な3次元人間ベンチマークにおいても、またこれらのベンチマークの重い遮蔽バージョンにおいても、他の手法よりも優れた曖昧な姿勢の回復性能を示していることが確認できました。