9 天前

基于Swin-Conv-UNet与数据合成的实用盲图像去噪

Kai Zhang, Yawei Li, Jingyun Liang, Jiezhang Cao, Yulun Zhang, Hao Tang, Deng-Ping Fan, Radu Timofte, Luc Van Gool
基于Swin-Conv-UNet与数据合成的实用盲图像去噪
摘要

近年来,深度神经网络在图像去噪任务中得到了广泛应用,但现有方法大多依赖于简单的噪声假设,例如加性白高斯噪声(AWGN)、JPEG压缩噪声以及图像传感器噪声等。针对真实图像的通用盲去噪方法至今仍未得到解决。本文从网络架构设计与训练数据合成两个角度出发,尝试攻克这一难题。在网络架构设计方面,我们提出一种名为“Swin-Conv模块”的新型结构,该模块融合了残差卷积层的局部建模能力与Swin Transformer模块的非局部建模能力,并将其作为核心组件嵌入到广泛使用的图像到图像翻译UNet架构中。在训练数据合成方面,我们设计了一种实用的噪声退化模型,该模型综合考虑了多种类型的噪声(包括高斯噪声、泊松噪声、斑点噪声、JPEG压缩噪声以及经过处理的图像传感器噪声)以及图像缩放操作,同时引入了随机打乱策略与双重退化策略,以增强数据多样性与现实性。大量实验结果表明,在AWGN去除与真实图像去噪任务中,所提出的网络架构设计均达到了当前最优性能,而新的退化模型显著提升了模型在实际场景中的适用性。我们相信,本工作为当前图像去噪研究提供了有价值的思路与参考。

基于Swin-Conv-UNet与数据合成的实用盲图像去噪 | 最新论文 | HyperAI超神经