MaIR: 이미지 복원을 위한 지역성 및 연속성을 보존하는 맘바(Mamba)

최근 맘바(Mamba)의 발전은 이미지 복원 분야에서 유망한 결과를 보여주고 있습니다. 이러한 방법들은 일반적으로 2D 이미지를 행과 열을 따라 여러 개의 구분된 1D 시퀀스로 평면화하고, 선택적 스캔 연산을 사용하여 각 시퀀스를 독립적으로 처리한 후, 이를 다시 결합하여 출력을 형성합니다. 그러나 이러한 패러다임은 두 가지 중요한 측면을 간과하고 있습니다: i) 자연 이미지에 내재된 국소 관계와 공간 연속성, ii) 완전히 다른 방식으로 펼쳐진 시퀀스들 사이의 차이점입니다. 이러한 단점을 극복하기 위해, 우리는 맘바 기반 복원 방법에서 두 가지 문제를 탐구하였습니다: i) 국소성과 연속성을 유지하면서 복원을 용이하게 하는 스캔 전략 설계 방법, ii) 완전히 다른 방식으로 펼쳐진 구분된 시퀀스들을 집계하는 방법입니다.이러한 문제들을 해결하기 위해, 우리는 새로운 맘바 기반 이미지 복원 모델인 MaIR(Mamba-based Image Restoration)를 제안합니다. 이 모델은 중첩 S형 스캔 전략(Nested S-shaped Scanning strategy, NSS)과 시퀀스 셔플 어텐션 블록(Sequence Shuffle Attention block, SSA)으로 구성되어 있습니다. 특히 NSS는 스트라이프 기반 스캔 영역을 통해 입력 이미지의 국소성을 유지하고, S형 스캔 경로를 통해 연속성을 보장합니다. SSA는 서로 다른 시퀀스들의 대응 채널 내에서 주의 가중치를 계산하여 시퀀스들을 집계합니다. NSS와 SSA 덕분에 MaIR는 14개의 도전적인 데이터셋에서 40개의 베이스라인을 초월하여 이미지 초해상화, 노이즈 제거, 블러 제거 및 안개 제거 작업에서 최신 수준의 성능을 달성하였습니다. 코드는 https://github.com/XLearning-SCU/2025-CVPR-MaIR 에서 제공됩니다.