摘要
我们提出了一种新颖的端到端半监督对抗框架，用于生成具有广泛表情、姿态和光照条件的新身份逼真面部图像，该框架基于3D可变形模型（3D Morphable Model）。以往的对抗风格迁移方法要么使用大量配对数据来监督网络，要么在无监督模式下使用未配对数据和高度欠约束的双向生成框架。我们引入了成对对抗监督，通过少量的真实和合成配对图像以及大量的未配对数据来约束双向域适应。我们进行了广泛的定性和定量实验以验证我们的想法。生成的新身份面部图像包含姿态、光照和表情多样性，定性结果表明这些图像在高度保留合成输入图像特征的同时增加了照片真实感并保留了身份信息。我们将通过所提方法生成的面部图像与真实数据集结合，用于训练人脸识别算法。我们在两个具有挑战性的数据集上评估了该模型：LFW和IJB-A。观察结果显示，我们的框架生成的图像在性能上始终优于使用牛津VGG人脸数据集训练的深度人脸识别网络，并且达到了与现有最先进方法相当的结果。