2 个月前

基于注意力机制的面部标志引导的人脸超分辨率重建

Deokyun Kim; Minseon Kim; Gihyun Kwon; Dae-Shik Kim
基于注意力机制的面部标志引导的人脸超分辨率重建
摘要

面部超分辨率(Face Super-Resolution, SR)是超分辨率领域的一个子领域,专门针对面部图像的重建。面部超分辨率的主要挑战是在不失真的情况下恢复关键的面部特征。本文提出了一种新的面部超分辨率方法,该方法能够生成具有完全保留面部细节的8倍超分辨率照片级逼真面部图像。为此,我们采用了渐进式训练方法,通过将网络分成连续的步骤来实现稳定训练,每一步都会产生逐渐提高分辨率的输出。此外,我们还提出了一种新颖的面部注意力损失函数,并在每个步骤中应用该函数,以通过像素差异和热图值的乘积来更加细致地恢复面部属性。最后,我们提出了一种压缩版的状态-of-the-art 面部对齐网络(Facial Alignment Network, FAN),用于提取地标热图。利用所提出的FAN,我们可以提取适用于面部超分辨率的热图,并减少整体训练时间。实验结果验证了我们的方法在定性和定量评估方面均优于现有最先进方法,尤其是在感知质量方面表现突出。