3 个月前

MambaIR:基于状态空间模型的图像修复简单基线

Hang Guo, Jinmin Li, Tao Dai, Zhihao Ouyang, Xudong Ren, Shu-Tao Xia
MambaIR:基于状态空间模型的图像修复简单基线
摘要

近年来,图像恢复领域取得了显著进展,这主要得益于现代深度神经网络(如卷积神经网络CNN和Transformer)的发展。然而,现有的恢复主干网络在全局感受野与高效计算之间往往面临权衡,限制了其在实际应用中的推广。近期,选择性结构状态空间模型(Selective Structured State Space Model),尤其是其改进版本Mamba,因其具有线性复杂度的长程依赖建模能力,展现出巨大潜力,为解决上述难题提供了新思路。然而,标准Mamba在低层视觉任务中仍存在局部像素遗忘和通道冗余等问题。为此,本文提出一种简单而有效的基准模型——MambaIR,通过引入局部增强机制与通道注意力模块,对原始Mamba进行改进。该设计充分利用了局部像素间的相似性,同时有效缓解了通道冗余问题。大量实验结果表明,所提方法具有显著优势:在图像超分辨率任务中,MambaIR在计算成本与SwinIR相当的前提下,性能最高可提升0.45dB,且具备全局感受野。代码已开源,地址为:\url{https://github.com/csguoh/MambaIR}。