通过像素级噪声感知对抗训练学习生成逼真的噪声图像

现有的深度学习真实去噪方法通常需要大量带噪声-干净图像对作为监督信号。然而，获取真实场景下的带噪声-干净图像数据集成本高昂且过程繁琐，难以实际应用。为缓解这一问题，本文研究了如何生成具有真实感的噪声图像。首先，我们提出了一种简洁而合理的噪声建模方法，将每个真实噪声像素视为一个随机变量。该模型将噪声图像生成问题分解为两个子问题：图像域对齐与噪声域对齐。随后，我们提出一种新型框架——像素级噪声感知生成对抗网络（Pixel-level Noise-aware Generative Adversarial Network, PNGAN）。PNGAN 利用预训练的真实去噪器，将生成的虚假噪声图像与真实噪声图像映射至近乎无噪的解空间，从而实现图像域对齐；同时，通过像素级对抗训练机制，完成噪声域对齐。此外，为提升噪声拟合效果，我们设计了一种高效的生成器架构——简单多尺度网络（Simple Multi-scale Network, SMNet）。定性评估表明，PNGAN 生成的噪声在强度和分布特性上与真实噪声高度相似。定量实验进一步证明，使用生成噪声图像训练的一系列去噪模型在四个真实去噪基准测试中均取得了当前最优（SOTA）性能。部分代码、预训练模型及实验结果已开源，可供对比参考，地址为：https://github.com/caiyuanhao1998/PNGAN。