3ヶ月前

MambaIR:状態空間モデルを用いた画像復元のシンプルなベースライン

Hang Guo, Jinmin Li, Tao Dai, Zhihao Ouyang, Xudong Ren, Shu-Tao Xia
MambaIR:状態空間モデルを用いた画像復元のシンプルなベースライン
要約

近年、CNNやTransformerを含む現代的な深層ニューラルネットワークの発展に伴い、画像復元分野では顕著な進展が見られている。しかし、既存の復元基盤モデルは、グローバルな受容 field(受容領域)と計算効率の間にジレンマを抱えることが多く、実用化を妨げる要因となっている。近年、選択的構造化状態空間モデル(Selective Structured State Space Model)特にその改良版であるMambaが、線形計算量で長距離依存関係をモデル化する可能性を示しており、このジレンマの解決に向けた有望な道筋を提示している。しかしながら、標準的なMambaは、局所ピクセルの記憶喪失やチャネルの冗長性といった低レベル視覚タスクにおける課題を抱えている。本研究では、単純ながら有効なベースラインとして、MambaIRを提案する。このモデルは、局所的な強化とチャネルアテンションを導入することで、元のMambaの性能を向上させている。これにより、MambaIRは局所ピクセル間の類似性を活用しつつ、チャネル冗長性を低減することができる。広範な実験により、本手法の優位性が実証された。例えば、計算コストが類似する条件下で、MambaIRは画像超解像(SR)においてSwinIRを最大0.45dB向上させた。また、グローバルな受容領域を有する点でも優れた性能を発揮している。コードは以下のURLで公開されている:\url{https://github.com/csguoh/MambaIR}。

MambaIR:状態空間モデルを用いた画像復元のシンプルなベースライン | 論文 | HyperAI超神経