9 天前
基于迭代置信度反馈与引导上采样的高分辨率图像修复
Yu Zeng, Zhe Lin, Jimei Yang, Jianming Zhang, Eli Shechtman, Huchuan Lu

摘要
现有的图像修复方法在处理真实应用场景中较大的缺失区域时,往往会产生伪影。为应对这一挑战,我们提出了一种具有反馈机制的迭代式图像修复方法。具体而言,我们引入了一种深度生成模型,该模型不仅输出修复结果,还生成相应的置信度图。利用该置信度图作为反馈信号,模型在每次迭代中仅信任缺失区域内部高置信度的像素进行填充,并在下一轮迭代中聚焦于剩余低置信度的像素。由于该过程复用前序迭代中已预测的可靠像素作为已知信息,修复结果得以逐步优化。此外,我们设计了一种引导式上采样网络,以实现高分辨率修复结果的生成。该方法通过扩展上下文注意力(Contextual Attention)模块,从输入图像中借用高分辨率特征块,从而提升细节重建能力。为进一步模拟真实物体移除场景,我们构建了一个大规模物体掩码数据集,并合成更具真实感的训练数据,以更好地模拟用户实际输入。实验结果表明,我们的方法在定量与定性评估中均显著优于现有方法。更多实验结果及在线演示应用(Web APP)可访问:https://zengxianyu.github.io/iic。