
摘要
从野外严重退化的面部图像中进行盲面恢复(BFR)是一个极具挑战性的问题。由于问题的高度病态性和复杂的未知退化,直接训练深度神经网络(DNN)通常无法获得令人满意的结果。现有的基于生成对抗网络(GAN)的方法可以产生更好的结果,但往往生成过度平滑的恢复图像。在本研究中,我们提出了一种新方法,首先学习一个用于高质量面部图像生成的GAN,并将其嵌入到U形DNN中作为先验解码器,然后使用一组合成的低质量面部图像对嵌入了GAN先验的DNN进行微调。设计的GAN模块确保了输入到GAN中的潜在代码和噪声分别由DNN的深层和浅层特征生成,从而控制重建图像的整体面部结构、局部面部细节和背景。所提出的嵌入GAN先验的网络(GPEN)易于实现,并能生成视觉上逼真的结果。我们的实验表明,所提出的GPEN在定量和定性方面均显著优于最先进的BFR方法,特别是在处理野外严重退化的面部图像时。源代码和模型可在https://github.com/yangxy/GPEN获取。