9 天前

零样本图像修复:基于去噪扩散零空间模型

Yinhuai Wang, Jiwen Yu, Jian Zhang
零样本图像修复:基于去噪扩散零空间模型
摘要

现有的大多数图像复原(Image Restoration, IR)模型均为任务特定型,难以泛化至不同的退化算子。在本工作中,我们提出了一种新型的零样本框架——去噪扩散零空间模型(Denoising Diffusion Null-Space Model, DDNM),可适用于任意线性图像复原任务,包括但不限于图像超分辨率、着色、图像修复、压缩感知以及去模糊。DDNM仅需一个预训练的现成扩散模型作为生成先验,无需任何额外训练或网络结构修改。通过在逆向扩散过程中仅优化零空间(null-space)内容,即可生成满足数据一致性与真实感的多样化复原结果。为进一步提升性能,我们还提出了增强且更鲁棒的版本——DDNM+,以支持含噪复原,并显著提升在高难度任务中的复原质量。在多个图像复原任务上的实验结果表明,DDNM优于现有的其他先进零样本复原方法。此外,我们还展示了DDNM+在复杂真实场景应用中的有效性,例如老旧照片的修复。