2 个月前

基于自适应嵌入和集成的图像去噪扩散模型

Li, Tong ; Feng, Hansen ; Wang, Lizhi ; Xiong, Zhiwei ; Huang, Hua
基于自适应嵌入和集成的图像去噪扩散模型
摘要

图像去噪是计算摄影中的一个基本问题,其中实现高感知质量与低失真度的要求非常高。当前的方法要么在感知质量上表现不佳,要么存在显著的失真问题。最近,新兴的扩散模型在各种任务中取得了最先进的性能,并展示了在图像去噪方面的巨大潜力。然而,将扩散模型应用于图像去噪并非易事,需要解决几个关键问题。一方面,输入不一致性阻碍了扩散模型与图像去噪之间的联系;另一方面,生成图像与期望的去噪图像之间的内容不一致性引入了失真。为了解决这些问题,我们提出了一种新的策略——用于图像去噪的扩散模型(DMID),通过从去噪的角度理解和重新思考扩散模型来实现这一目标。我们的DMID策略包括一种自适应嵌入方法,该方法将噪声图像嵌入到预训练的无条件扩散模型中,以及一种自适应集成方法,该方法减少了去噪图像中的失真。我们的DMID策略在基于失真的指标和基于感知的指标上均达到了最先进的性能,适用于高斯噪声和真实世界噪声的图像去噪。代码可在https://github.com/Li-Tong-621/DMID 获取。