野生画像からアニメーション可能な詳細な3D顔モデルを学習する

現在の単眼3D顔再構成手法は、微細な幾何学的詳細を回復することができますが、いくつかの制限があります。一部の手法は、表情によってしわがどのように変化するかをモデル化していないため、現実的なアニメーションを作成できません。他の手法は高品質な顔スキャンデータで訓練されていますが、野生環境の画像には十分に一般化されません。本稿では、個々の人特有の詳細情報と表情に応じて変化する詳細情報を推定する最初のアプローチを提案します。当該モデルDECA（Detailed Expression Capture and Animation）は、個人固有の詳細パラメータと一般的な表情パラメータからなる低次元潜在表現からUVディスプレースメントマップを堅牢に生成するために訓練されています。一方、回帰器は単一画像から詳細、形状、アルベド（反射率）、表情、姿勢、照明パラメータを予測するために訓練されています。この手法を可能にするために、私たちは新しい詳細一致性損失（detail-consistency loss）を導入しました。これにより個人固有の詳細と表情依存のしわが分離されます。この分離により、個人固有の詳細を変更せずに表情パラメータを制御することで現実的な個人特有のしわを合成することが可能になります。DECAは野生環境の画像からペアとなる3D監督なしで学習され、2つのベンチマークにおいて最先端の形状再構成精度を達成しています。野生環境データに対する定性的結果は、DECAの堅牢性とアイデンティティ依存および表情依存の詳細情報を分離する能力を示しており、再構成された顔面アニメーションが可能であることを証明しています。モデルとコードは公開されており、https://deca.is.tue.mpg.de でアクセスできます。