要約
画像復元は、劣化した画像から元の鮮明な画像を再構成することを目的としている。従来の空間領域におけるこの長年の課題に加えて、鮮明画像と劣化画像のスペクトル間に大きな差異を考慮することで周波数領域での解決策を模索する手法もいくつか提案されている。しかし、これらの手法は一般的にウェーブレット変換などの変換ツールを用いて特徴量を複数の周波数帯に分割するが、復元に最も有用な周波数成分を選択する柔軟性に欠ける。本研究では、マルチブランチかつコンテキストに応じたモジュールを活用し、特徴量を動的にかつ局所的に異なる周波数サブバンドに分解し、チャネルごとのアテンション重みを用いて有用な成分を強調する。さらに、大規模な劣化(ぼかし)を扱うため、グローバル平均プーリングとウィンドウベース平均プーリングを組み合わせた極めて単純なデカップリング・モジュールを提案し、受容 field を拡大する。また、マルチステージネットワークの枠組みを単一のU字型ネットワークに統合することで、マルチスケールの受容 field を実現しつつ、計算効率の向上を図った。最後に、上記の設計を畳み込みベースのバックボーンに統合した本手法である周波数選択ネットワーク(Frequency Selection Network, FSNet)は、単一画像の焦点外ぼかし除去、画像の霞み除去、画像の運動ぼかし除去、雪除去、雨除去、ノイズ除去の6つの代表的な画像復元タスクにおいて、20の異なるベンチマークデータセットで最先端のアルゴリズムと比較して優れた性能を発揮した。