2ヶ月前

MaIR: 画像復元のための局所性と連続性を保つマンバ

Li, Boyun ; Zhao, Haiyu ; Wang, Wenxin ; Hu, Peng ; Gou, Yuanbiao ; Peng, Xi
MaIR: 画像復元のための局所性と連続性を保つマンバ
要約

最近のマンバ(Mamba)に関する進歩は、画像復元において有望な結果を示しています。これらの手法は通常、2次元画像を行と列に沿って複数の異なる1次元シーケンスに平滑化し、各シーケンスを独立して選択的な走査操作を使用して処理し、それらを再結合して出力を形成します。しかし、このようなパラダイムは自然画像に固有の局所的な関係と空間的連続性、ならびに完全に異なる方法で展開されたシーケンス間の相違点という2つの重要な側面を見落としています。これらの欠点を克服するために、マンバベースの復元手法における2つの問題を探求しました:i) 局所性と連続性を保ちつつ復元を容易にする走査戦略の設計方法、ii) 完全に異なる方法で展開された異なるシーケンスを集約する方法。これらの問題に対処するために、我々は新しいマンバベースの画像復元モデル(MaIR)を提案します。このモデルにはネストされたS字型走査戦略(NSS)とシーケンスシャッフルアテンションブロック(SSA)が含まれています。具体的には、NSSはストライプベースの走査領域を通じて入力画像の局所性を保ち、S字型走査パスを通じて連続性を保つことで機能します。SSAは異なるシーケンスの対応するチャネル内で注意重みを計算することでシーケンスを集約します。NSSとSSAのおかげで、MaIRは14の困難なデータセットにおいて40以上のベースラインを超える性能を達成し、画像超解像度化、ノイズ除去、ぼかし除去および霧除去タスクで最先端の成果を上げています。コードは以下のURLから入手可能です:https://github.com/XLearning-SCU/2025-CVPR-MaIR。