13日前
AdaIR:周波数マイニングとモジュレーションを活用した適応型一括画像復元
Yuning Cui, Syed Waqas Zamir, Salman Khan, Alois Knoll, Mubarak Shah, Fahad Shahbaz Khan

要約
画像取得プロセスにおいて、ノイズ、霞、雨などさまざまな形態の劣化が頻繁に発生する。これらの劣化は、カメラの内在的な制限や悪化した周囲環境条件によって引き起こされることが多い。劣化した画像からクリーンな画像を復元するため、それぞれ特定の劣化タイプに特化した多数の復元手法が開発されてきた。近年、入力画像の劣化タイプに関する事前情報を必要とせずに、一つのモデル内で複数の劣化タイプを統合的に処理する「オールインワン」アルゴリズムが注目を集めている。しかし、これらの手法は空間領域のみを対象としており、異なる劣化タイプに固有の周波数特性の違いには深く踏み込んでいない。このギャップを埋めるために、本研究では周波数の探索と制御を活用した適応型オールインワン画像復元ネットワークを提案する。本手法の提案は、異なる劣化タイプが画像コンテンツに異なる周波数帯域に異なる影響を与えるという観察に基づく。したがって、各復元タスクに対して適切な処理が求められる。具体的には、まず劣化画像の適応的分離されたスペクトルをガイドとして、入力特徴から低周波および高周波情報を抽出する。抽出された特徴は、双方向演算子によって変調され、異なる周波数成分間の相互作用を促進する。その後、変調された特徴は元の入力に統合され、段階的にガイドされた復元が行われる。このアプローチにより、入力劣化の種類に応じて情報量の多い周波数帯域を強調することで、モデルは適応的な再構成を実現する。広範な実験により、本手法がノイズ除去、除霞、除雨、運動ぼかし補正、低照度画像強調といった複数の画像復元タスクにおいて、最先端の性能を達成することが示された。本研究のコードは、https://github.com/c-yn/AdaIR にて公開されている。