山型単段ネットワークによる高精度な画像復元

画像修復は、ぼけや雨滴などの劣化した入力画像から高品質な画像を得ることを目指すタスクです。画像修復においては、空間的な詳細と文脈情報の間で複雑なバランスを保つことが一般的に必要とされます。多段階ネットワークはこれらの競合する目標を最適にバランスさせ、顕著な性能向上を達成できますが、これによりシステムの複雑さも増加します。本論文では、単純なU-Netアーキテクチャに基づいた山型の単一ステージ設計を提案します。この設計では、不要な非線形活性化関数を削除または置き換えることで、低システム複雑さで上記のバランスを実現します。具体的には、特徴融合ミドルウェア（Feature Fusion Middleware: FFM）メカニズムをエンコーダー-デコーダー構造レベル間の情報交換部品として提案します。これは上層の情報を隣接する下層へと順次統合し、最終的にすべての情報が元の画像解像度操作レベルに融合されるように設計されています。これにより空間的な詳細が維持されるとともに文脈情報が統合され、高品質な画像修復が確保されます。さらに、エンコーダーとデコーダーの間に位置するマルチヘッド注意中間ブロック（Multi-Head Attention Middle Block: MHAMB）を提案します。このブロックはより広範な情報を捉え、CNN（畳み込みニューラルネットワーク）の受容野の制限を超えることを可能にします。多数の実験結果から、当方針がM3SNetと命名された手法は、計算コストを半分以下に抑えつつも既存の最先端モデルを上回る性能を示していることが確認されました。特に画像脱雨やぼけ除去などの複数の画像修復タスクにおいてその優位性が証明されています。