GANFIT: 生成対抗ネットワークによる高忠実度3D顔再構成

ここ数年、単一画像から3次元顔構造を再構築するために深層畳み込みニューラルネットワーク（DCNN）の力を活用する研究が多数行われてきました。最近の研究では、微分可能なレンダラーを使用して、顔の同一性特徴と形状・テクスチャの3次元変形モデルのパラメータとの関係を学習しています。テクスチャ特徴は、線形テクスチャ空間の成分に対応するか、または野生環境の画像から直接自己符号化器によって学習されます。しかし、現行の最先端手法における顔テクスチャ再構築の品質はまだ高解像度でテクスチャをモデリングする能力に達していないのが実情です。本論文では、全く異なるアプローチを取り、生成対抗ネットワーク（GAN）とDCNNの力を活用して単一画像から顔テクスチャと形状を再構築することを目指します。つまり、UV空間での顔テクスチャ生成器を非常に強力に訓練するためにGANを利用します。その後、非線形最適化を使用してテスト画像を最も忠実に再構築する最適な潜在パラメータを見つけるという新たな視点から、従来の3次元変形モデル（3DMM）適合手法を見直します。我々は事前学習済みの深層同一性特徴による監視のもとでパラメータを最適化し、エンドツーエンドで微分可能なフレームワークを通じてこれを達成します。我々は写真現実的な3D顔再構築において優れた結果を示し、高周波詳細を持つ顔テクスチャ再構築について初めて成功したことを報告します（当社調べ）。