2 个月前

MaIR:一种保持局部性和连续性的Mamba图像恢复方法

Li, Boyun ; Zhao, Haiyu ; Wang, Wenxin ; Hu, Peng ; Gou, Yuanbiao ; Peng, Xi
MaIR:一种保持局部性和连续性的Mamba图像恢复方法
摘要

近期在Mamba领域的进展显示了其在图像恢复方面的巨大潜力。这些方法通常将二维图像沿行和列展平为多个独立的一维序列,使用选择性扫描操作独立处理每个序列,然后重新组合以形成输出。然而,这种范式忽视了两个关键方面:i)自然图像中固有的局部关系和空间连续性;ii)通过完全不同的方式展开的序列之间的差异。为了克服这些缺点,我们探讨了基于Mamba的恢复方法中的两个问题:i)如何设计一种既能保持局部性和连续性又能促进恢复的扫描策略;ii)如何聚合通过完全不同方式展开的独立序列。针对这些问题,我们提出了一种新颖的基于Mamba的图像恢复模型(MaIR),该模型包括嵌套S形扫描策略(NSS)和序列洗牌注意力块(SSA)。具体而言,NSS通过条带状扫描区域和S形扫描路径分别保持输入图像的局部性和连续性。SSA则通过计算不同序列对应通道内的注意力权重来聚合序列。得益于NSS和SSA,MaIR在14个具有挑战性的数据集上超越了40个基线模型,在图像超分辨率、去噪、去模糊和去雾任务中取得了最先进的性能。代码已发布在 https://github.com/XLearning-SCU/2025-CVPR-MaIR。