PaMIR: パラメトリックモデル条件付きの暗黙的な表現による 画像ベースの人間再構築

単一画像から正確かつ堅牢に3次元ヒューマンモデルを生成することは非常に困難であり、このような不適切な問題の鍵はヒューマンモデルの3次元表現にあります。通常の3次元表現の制限を克服するために、我々はパラメトリックモデル条件付き暗黙の表現（Parametric Model-Conditioned Implicit Representation: PaMIR）を提案します。このPaMIRに基づく再構成フレームワークでは、パラメトリックモデルの意味論的特徴を使用して自由形状の深層暗黙関数を正規化する新しい深層ニューラルネットワークが提案されています。これにより、挑戦的なポーズや様々な衣装トポロジーの下でも一般化能力が向上します。さらに、深度曖昧性対応トレーニング損失が新たに統合され、不完全な身体参照を使用しても深度の曖昧性を解消し、表面詳細の成功した再構成を可能にします。最後に、パラメトリックモデル推定精度を向上させるとともに、パラメトリックモデルと暗黙関数間の一貫性を強化するための身体参照最適化手法を提案しています。PaMIR表現により、我々のフレームワークはマルチカメラキャリブレーションやポーズ同期なしで容易に多視点入力シナリオへ拡張できます。実験結果は、挑戦的なポーズや衣装タイプの場合において、画像ベースの3次元ヒューマン再構成における最先端の性能を達成していることを示しています。