8 天前

多阶段渐进式图像修复

Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang, Ling Shao
多阶段渐进式图像修复
摘要

图像恢复任务在重建图像时,需要在空间细节与高层上下文信息之间实现复杂的平衡。本文提出一种新颖的协同设计,能够最优地协调这些相互竞争的目标。我们的核心思想是一种多阶段架构,通过逐步学习退化输入的恢复函数,将整体恢复过程分解为更易处理的步骤。具体而言,模型首先利用编码器-解码器结构学习上下文特征,随后将其与保留局部信息的高分辨率分支进行融合。在每一阶段,我们引入一种新颖的逐像素自适应设计,利用就地监督注意力机制对局部特征进行重新加权。此类多阶段架构的关键在于不同阶段之间的信息交互。为此,我们提出一种双面策略:信息不仅沿时间顺序从早期阶段向后期阶段传递,而且特征处理模块之间还存在横向连接,以避免信息丢失。由此构建的紧密耦合的多阶段架构被命名为MPRNet,在涵盖图像去雨、去模糊和去噪等多种任务的十个数据集上均展现出显著的性能提升。源代码与预训练模型已公开,可访问 https://github.com/swz30/MPRNet。

多阶段渐进式图像修复 | 最新论文 | HyperAI超神经