DualDn：通过可微分ISP实现的双域去噪

图像去噪是相机图像信号处理（Image Signal Processing, ISP）流水线中的关键环节。目前，将去噪模块嵌入ISP流水线主要有两种典型方式：一种是在原始捕获的raw图像域直接应用去噪算法（raw域），另一种是在ISP处理后的sRGB输出图像上进行去噪（sRGB域）。然而，这两种方法均存在局限性。raw域去噪残留的噪声可能在后续的ISP处理过程中被放大；而sRGB域去噪则难以应对空间上非均匀分布的噪声，因为它仅能观察到经过ISP处理后发生畸变的噪声模式。因此，现有的大多数raw域或sRGB域去噪方法仅适用于特定的噪声分布和ISP配置。为解决上述挑战，我们提出了一种新型的基于学习的双域去噪方法——DualDn。与以往仅在单一域进行去噪的方法不同，DualDn包含两个并行的去噪网络：一个作用于raw域，另一个作用于sRGB域。raw域去噪网络能够适应传感器特有的噪声特性以及空间变化的噪声强度；而sRGB域去噪网络则能适应ISP参数的变化，并有效消除因ISP处理而被放大的残留噪声。两个去噪网络通过一个可微分的ISP模块相连，该ISP模块在训练阶段端到端联合优化，并在推理阶段被移除。得益于这一设计，DualDn相较于大多数基于学习的去噪方法展现出更强的泛化能力，能够适应未见过的噪声类型、不同的ISP参数设置，甚至全新的ISP流水线架构。实验结果表明，DualDn在多个基准测试中达到当前最优性能，并具备良好的架构兼容性，可灵活适配不同的去噪网络结构。更重要的是，DualDn可作为即插即用的去噪模块，直接部署于真实相机系统中，无需重新训练，仍能显著超越现有商用相机内置的实时去噪算法。项目主页详见：https://openimaginglab.github.io/DualDn/