学习扭曲引导的盲人脸修复

本文研究了从无约束的模糊、有噪声、低分辨率或压缩图像（即退化观测）中进行盲人脸恢复的问题。为了更好地恢复面部细节，我们修改了问题设置，将退化观测和同一身份的高质量引导图像作为输入，送入我们的引导人脸恢复网络（GFRNet）。然而，退化观测和引导图像通常在姿态、光照和表情上存在差异，这使得普通的卷积神经网络（如U-Net）无法恢复精细且具有身份感知的面部细节。为了解决这一问题，我们的GFRNet模型包括一个变形子网络（WarpNet）和一个重建子网络（RecNet）。WarpNet用于预测流场以将引导图像变形到正确的姿态和表情（即变形后的引导），而RecNet则以退化观测和变形后的引导作为输入，生成恢复结果。由于真实流场不可获得，因此引入了地标损失与总变差正则化来指导WarpNet的学习。此外，为了使模型适用于盲恢复，我们的GFRNet在合成数据上进行了训练，这些数据在模糊核、噪声水平、下采样比例因子和JPEG质量因子等方面设置了多种条件。实验表明，我们的GFRNet不仅在性能上优于现有的最先进的图像和人脸恢复方法，而且在真实的退化面部图像上也能生成视觉上接近真实照片的结果。