GANFIT：用于高保真3D人脸重建的生成对抗网络拟合

近年来，人们利用深度卷积神经网络（DCNN）的力量，在从单张图像重建三维面部结构方面做了大量工作。在最新的研究中，为了学习面部身份特征与三维可变形模型（3D morphable model, 3DMM）形状和纹理参数之间的关系，采用了可微渲染器。纹理特征要么对应线性纹理空间的组成部分，要么通过自动编码器直接从野外图像中学习得到。然而，在所有情况下，现有方法在面部纹理重建的质量上仍无法实现高保真度建模。本文中，我们采取了一种截然不同的方法，结合生成对抗网络（GAN）和深度卷积神经网络（DCNN），以从单张图像中重建面部纹理和形状。具体来说，我们利用 GAN 在 UV 空间中训练一个非常强大的面部纹理生成器。然后，我们重新审视了传统的 3D 可变形模型拟合方法，采用非线性优化来寻找最能重建测试图像的最优潜在参数，但在此过程中引入了新的视角。我们通过预训练的深度身份特征监督优化这些参数，并通过我们的端到端可微框架实现这一目标。我们在逼真且保持身份的三维人脸重建方面展示了出色的结果，并首次实现了包含高频细节的面部纹理重建。据我们所知，这是首次达到如此效果。