2 个月前
ShadowDiffusion:当退化先验遇到扩散模型用于阴影去除
Guo, Lanqing ; Wang, Chong ; Yang, Wenhan ; Huang, Siyu ; Wang, Yufei ; Pfister, Hanspeter ; Wen, Bihan

摘要
近期的深度学习方法在图像阴影去除方面取得了令人鼓舞的结果。然而,这些方法恢复的图像仍然存在边界伪影问题,主要是由于缺乏退化先验嵌入以及建模能力不足所致。我们的研究通过提出一个统一的扩散框架来解决这些问题,该框架将图像先验和退化先验结合起来,以实现高效的阴影去除。具体而言,我们首先提出了一个阴影退化模型,这启发我们构建了一个新颖的展开扩散模型,命名为ShadowDiffusion(阴影扩散)。该模型通过逐步利用退化先验和扩散生成先验来改进输出结果,显著提升了阴影去除的效果,本质上可以作为图像恢复的新强基线。此外,ShadowDiffusion将估计的阴影掩模作为扩散生成器的辅助任务进行逐步优化,从而生成更准确和鲁棒的无阴影图像。我们在三个流行的公开数据集ISTD、ISTD+和SRD上进行了广泛的实验,以验证我们方法的有效性。与现有最先进方法相比,我们的模型在PSNR指标上取得了显著提升,在SRD数据集上的PSNR值从31.69 dB提高到34.73 dB。