摘要
图像修复旨在从退化观测中重建出潜在的高质量图像。近年来,由于Transformer在建模长距离依赖关系方面具有强大能力,其在各类图像修复任务中显著提升了当前最先进的性能。然而,自注意力机制固有的二次计算复杂度限制了其在实际应用中的广泛使用。此外,充分挖掘干净图像与退化图像对之间的巨大频谱差异,也有助于提升图像修复效果。本文提出一种面向图像修复的双域条带注意力机制(Dual-Domain Strip Attention Mechanism),通过增强表征学习能力,该机制由空间条带注意力单元和频域条带注意力单元组成。具体而言,空间条带注意力单元通过一个简单的卷积分支学习权重,引导每个像素从其所在行或列的邻近位置获取上下文信息。同时,频域条带注意力单元通过频谱分离与调制操作,在频域中对特征进行精炼,该过程仅依赖于简单的池化技术实现。此外,本文采用不同尺寸的条带以增强多尺度学习能力,有助于应对不同尺度的退化情况。通过在不同方向上融合双域注意力单元,每个像素能够隐式地感知更大范围的上下文信息。综合而言,所提出的双域条带注意力网络(DSANet)在涵盖图像去雾、去雪、去噪及运动模糊去模糊等四类图像修复任务的12个不同数据集上均取得了当前最优的性能表现。