2ヶ月前

HAIR: ハイパーネットワークを用いた統合的な画像復元

Cao, Jin ; Cao, Yi ; Pang, Li ; Meng, Deyu ; Cao, Xiangyong
HAIR: ハイパーネットワークを用いた統合的な画像復元
要約

画像修復の目的は、劣化した画像から高品質なクリーンな画像を回復することである。最近の画像修復における進歩は、さまざまな未知の劣化を同時に処理するためのオールインワン画像修復モデルの有効性を示している。しかし、これらの既存の方法は通常、異なる種類の劣化を持つ画像に対して同じパラメータを使用することで、モデルが異なるタスク間での性能バランスを取ることを余儀なくされ、各タスクでの性能が制限される傾向がある。この問題を緩和するために、我々はHAIR(Hypernetworks-based All-in-One Image Restoration)と呼ばれるプラグアンドプレイ方式のオールインワン画像修復手法を提案する。HAIRは入力画像に基づいてパラメータを生成し、モデルが特定の劣化に動的に適応できるようにする。具体的には、HAIRは2つの主要なコンポーネントで構成されている。すなわち、分類器(Classifier)とハイパーパラメータ選択ネットワーク(Hyper Selecting Net: HSN)である。分類器は単純な画像分類ネットワークであり、入力画像の劣化情報を含むグローバル情報ベクトル(Global Information Vector: GIV)を生成するために使用される。HSNは単純な全結合ニューラルネットワークであり、GIVを受け取り対応するモジュールのパラメータを出力する。広範囲にわたる実験により、HAIRがプラグアンドプレイ方式で既存の画像修復モデルの性能を大幅に向上させることができることが示された。特に、単一タスク設定およびオールインワン設定においても同様である。注目に値するのは、有名なRestormerにHAIRを統合した我々が提案するモデルRes-HAIRが、現行の最先端手法と比較して優れたまたは同等以上の性能を得られる点である。さらに理論的に示した結果によると、一定以下の誤差を達成するために必要なパラメータ数について、我々が提案するHAIRは主流の埋め込みベースのオールインワン手法よりも少ないパラメータで済むことが確認された。本研究に関するコードは https://github.com/toummHus/HAIR で公開されている。