マルチステージプログレッシブ画像復元

画像復元タスクでは、復元された画像の空間的詳細と高レベルの文脈情報の間で複雑なバランスを保つことが求められる。本論文では、こうした対立する目標を最適に調和させる新たな協調的設計を提案する。本研究の中心となるのは、劣化した入力に対して段階的に復元機能を学習するマルチステージアーキテクチャである。このアプローチにより、全体の復元プロセスをより取り扱いやすい段階に分解することができる。具体的には、まずエンコーダ-デコーダ構造を用いて文脈情報を含む特徴量を学習し、その後、局所情報を保持する高解像度ブランチと組み合わせる。各ステージにおいて、局所特徴量を再重み付けするために、イン・サイト監視付きのピクセル単位の適応型設計を導入している。このようなマルチステージアーキテクチャの鍵となる要素は、異なるステージ間での情報交換である。そのため、情報が早期から晚期へ逐次伝達されるだけでなく、特徴処理ブロック間にも横方向の接続を設ける二面的なアプローチを提案する。これにより、情報損失を回避する密接に連携したマルチステージ構造が実現され、その名をMPRNetと呼ぶ。MPRNetは、雨除去、ぼけ除去、ノイズ除去といった多様なタスクにおいて、10の異なるデータセットで顕著な性能向上を達成した。ソースコードおよび事前学習済みモデルは、https://github.com/swz30/MPRNet にて公開されている。