8日前

画像復元のためのオムニカーネルネットワーク

{Alois Knoll, Wenqi Ren, Yuning Cui}
要約

画像復元は、劣化した低品質な観測画像から高品質な画像を再構成することを目的とする。近年、長距離依存性を効果的にモデル化できる能力を持つことから、Transformerモデルは画像復元タスクにおいて有望な性能を示している。しかし、入力サイズに対して二次的に増大する計算複雑性のため、実用的な応用には不向きである。本論文では、多スケール表現学習を強化することで、効率的な畳み込みネットワークを提案する。そのために、グローバル、ラージ、ローカルの3つのブランチから構成される「オムニカーネルモジュール」を提案し、グローバルからローカルへの特徴表現を効率的に学習する。具体的には、グローバルブランチは二重ドメインチャネルアテンションと周波数ゲート機構を用いてグローバルな受容 field を実現する。さらに、多様な粗さの受容 field を提供するために、通常のカーネルサイズよりも著しく大きなサイズを持つ深度方向畳み込みの異なる形状を用いたラージブランチを構成する。また、ポイントワイズ深度方向畳み込みを用いてローカル情報を補完する。最終的に、効率性を高めるために、オムニカーネルモジュールをボトルネック部に挿入することで、提案ネットワーク「OKNet」を構築した。広範な実験により、画像の霞み除去(image dehazing)、雪除去(image desnowing)、焦点外ぼかしの復元(image defocus deblurring)という代表的な3つの画像復元タスクにおいて、11のベンチマークデータセットで最先端の性能を達成することが示された。コードは https://github.com/c-yn/OKNet にて公開されている。

画像復元のためのオムニカーネルネットワーク | 最新論文 | HyperAI超神経