要約
3次元変形モデル（3DMM）は、主成分分析（PCA）に基づく統計モデルであり、線形基底関数を使用して3次元顔を表現します。単一視点の野生環境画像から3次元顔を再構築するための有望な結果を示しています。しかし、3DMMは限られた数の3次元スキャンと全体的な線形基底により、表現力が制限されています。この問題に対処するために、我々は自由形状変形（Free-Form Deformation, FFD）を通じて3次元顔メッシュを再構築する初の学習ベースの方法を提案します。FFDは、参照メッシュを平行六面体グリッド内に埋め込み、グリッドの疎な制御点を移動することでメッシュを変形させる幾何モデリング手法です。FFDは数学的に定義された基底関数に基づいているため、表現力には制限がありません。したがって、制御点の適切な偏差を変形パラメータとして推定することで、正確な3次元顔メッシュを得ることができます。3DMMとFFDはどちらもパラメトリックモデルですが、3DMMのパラメータが顔形状に及ぼす影響を予測することは困難です。一方で、FFDの変形パラメータは最終的なメッシュ形状に対する効果が解釈可能であるため、実用的な利点があります。このFFDの実用的な利点により、得られたメッシュと制御点は通常のユーザーでも広く利用可能な3次元ソフトウェアツールを使用して微調整できるため、3次元顔モデリングにおける良い出発点となります。複数データセットでの実験では、我々の方法が2次元顔画像から3次元顔ジオメトリと表情を成功裏に推定し、最先端の手法と同等の性能を達成していることを示しています。