DiffBIR：基于生成扩散先验的盲图像复原

我们介绍了DiffBIR，一种通用的图像修复管道，能够在统一框架下处理不同的盲图像修复任务。DiffBIR将盲图像修复问题解耦为两个阶段：1）退化去除：消除与图像无关的内容；2）信息再生：生成丢失的图像内容。每个阶段独立开发，但它们以级联的方式无缝协作。在第一阶段，我们使用修复模块去除退化，获得高保真的修复结果。对于第二阶段，我们提出了IRControlNet，该网络利用潜在扩散模型的生成能力来生成逼真的细节。具体而言，IRControlNet基于特别制作的条件图像进行训练，这些条件图像不含分散注意力的噪声内容，从而保证了稳定的生成性能。此外，我们设计了一种区域自适应修复引导机制，可以在推理过程中修改去噪过程而无需重新训练模型，使用户能够通过可调的引导尺度平衡真实性和保真度。大量实验表明，在合成数据集和真实世界数据集上，DiffBIR在盲图像超分辨率、盲人脸修复和盲图像去噪任务中均优于现有最先进的方法。代码已发布在https://github.com/XPixelGroup/DiffBIR。