面向语义的渐进式风格变换用于盲人脸修复

面部修复在人脸图像处理中具有重要意义，近年来受到了广泛研究。然而，以往的方法往往无法为真实世界的低质量（LQ）人脸图像生成可信的高质量（HQ）结果。本文提出了一种新的渐进式语义感知风格转换框架，命名为PSFR-GAN，用于面部修复。具体而言，我们没有采用以往方法中的编码器-解码器框架，而是通过语义感知风格转换将LQ人脸图像的修复过程建模为多尺度渐进式修复程序。给定一对LQ人脸图像及其对应的解析图，我们首先生成输入的多尺度金字塔，然后以语义感知风格转换的方式从粗到细逐步调制不同尺度的特征。与以往网络相比，所提出的PSFR-GAN充分利用了来自输入对不同尺度的语义（解析图）和像素（LQ图像）空间信息。此外，我们进一步引入了一种语义感知风格损失，该损失分别计算每个语义区域的特征风格损失，以改善面部纹理的细节。最后，我们预训练了一个面部解析网络，可以从真实世界的LQ人脸图像生成良好的解析图。实验结果表明，我们的模型在合成数据上训练后不仅能够为合成的LQ输入生成更加逼真的高分辨率结果，而且相比于现有最先进方法，在自然LQ人脸图像上的泛化能力也更强。代码已发布在https://github.com/chaofengc/PSFRGAN。