2 个月前

基于示例引导的无面部标志人脸图像超分辨率重建

Berk Dogan; Shuhang Gu; Radu Timofte
基于示例引导的无面部标志人脸图像超分辨率重建
摘要

如今,由于视觉媒体的普及,已经存在大量可用的高分辨率(HR)人脸图像。因此,对于给定的一张非常低分辨率(LR)的人脸图像,很可能找到另一张同一人的高分辨率人脸图像来指导超分辨率重建过程。在本文中,我们提出了一种基于卷积神经网络(CNN)的解决方案,即GWAInet,该方法通过使用另一张不受限制的高分辨率人脸图像作为引导,可以将人脸图像放大8倍进行超分辨率重建。尽管引导图像与输入图像可能存在年龄、表情、姿态或尺寸上的差异,但GWAInet仍能生成高质量的感知图像结果。该方法通过一个变形子网络(warper subnetwork)对引导图像的内容进行对齐,并利用特征融合链将从变形后的引导图像和输入图像中提取的特征进行融合。在训练过程中,身份损失进一步帮助保留与身份相关的特征,通过最小化超分辨率(SR)和高分辨率(HR)真实图像嵌入向量之间的距离实现这一目标。与当前最先进的人脸超分辨率方法不同,我们的方法不需要面部关键点来进行训练,这不仅提高了其鲁棒性,还允许其以均匀的方式生成周围面部区域的精细细节。我们的方法GWAInet在8倍放大因子下生成了照片级逼真的图像,并且在定量指标和感知质量方面均优于现有最先进方法。