要約
画像復元は、 longtime-standing 低レベル視覚問題の一つであり、例えば、ぼかし除去や雨除去などが挙げられます。画像復元の過程においては、品質を確保するために、空間的な詳細と文脈情報だけでなく、システムの複雑さも考慮する必要があります。多くの手法が画像復元の品質を保証できる一方で、最先端（State-of-the-Art: SOTA）の手法におけるシステムの複雑さも増加しています。この課題に着目して、我々はこれらの競合する目標をバランスよく達成できる混合階層ネットワークを提案します。我々の主な提案は、混合階層アーキテクチャです。このアーキテクチャは、劣化した画像から段階的に文脈情報を回復しつつ、空間的な詳細を維持するためにブロック内での設計を行います。具体的には、モデルはまずエンコーダー-デコーダー構造を使用して文脈情報を学習し、その後高解像度ブランチと組み合わせて空間的な詳細を保持します。このアーキテクチャのシステム複雑さを分析や比較のために簡素化するために、非線形活性化関数を乗算に置き換えたり削除したりし、単純なネットワーク構造を使用します。さらに、エンコーダー-デコーダーの中間ブロックでは空間畳み込みをグローバル自己注意機構に置き換えます。結果として得られる密接に連携した階層アーキテクチャであるMHNetは、画像雨除去やぼかし除去などいくつかの画像復元タスクにおいて優れた性能向上を達成しています。