要約
3次元顔形状とテクスチャの古典的な統計モデルとして、3次元可変モデル（3DMM）は顔解析において広く利用されています。例えば、モデル適合や画像合成などで使用されます。従来の3DMMは、制御された2次元顔画像とそれに関連する3次元顔スキャンのセットから学習され、2つのPCA基底関数セットで表現されます。しかし、訓練データの種類や量、ならびに線形基底のため、3DMMの表現力には限界があります。これらの問題を解決するために、本論文では大規模な非制約顔画像から3次元可変モデル（3DMM）を学習する革新的なフレームワークを提案します。この方法では、3次元顔スキャンを集める必要がありません。具体的には、入力として与えられた顔画像に対して、ネットワークエンコーダーが投影パラメータ、形状パラメータ、およびテクスチャパラメータを推定します。2つのデコーダーがそれぞれ形状パラメータとテクスチャパラメータから3次元形状とテクスチャへの非線形マッピングを行うことで、非線形3DMMとして機能します。投影パラメータ、3次元形状、およびテクスチャを使用して、新しい解析的に微分可能なレンダリング層が設計され、元の入力顔を再構成します。全体的なネットワークは弱い監督のみでエンドツーエンドで学習可能です。我々は提案した非線形3DMMが従来の線形モデルよりも優れた表現力を有することを示し、その顔合わせと3次元再構成への貢献についても述べています。