11 天前

Wavelet-SRNet:一种基于小波的多尺度人脸超分辨率CNN

{Tieniu Tan, Zhenan Sun, Huaibo Huang, Ran He}
Wavelet-SRNet:一种基于小波的多尺度人脸超分辨率CNN
摘要

大多数现代人脸超分辨率方法依赖于卷积神经网络(CNN)来推断高分辨率(HR)人脸图像。然而,在处理极低分辨率(LR)图像时,这类基于CNN的方法性能显著下降。同时,这些方法往往生成过度平滑的输出,难以恢复细微的纹理细节。为应对上述挑战,本文提出一种基于小波变换的CNN方法,能够在统一框架下将尺寸为16×16或更小的极低分辨率人脸图像,超分辨至多个放大倍数(2倍、4倍、8倍甚至16倍)的高分辨率版本。与传统CNN方法直接推断高分辨率图像不同,本方法首先学习预测低分辨率图像对应的高分辨率图像的一系列小波系数,再基于这些系数进行高分辨率图像重建。为同时捕捉人脸图像的全局结构拓扑信息与局部纹理细节,我们设计了一种灵活且可扩展的卷积神经网络,并引入三种类型的损失函数:小波系数预测损失、纹理损失以及全图损失。大量实验结果表明,所提方法在定量与定性评估上均显著优于当前最先进的超分辨率技术。