要約
全盲一括画像復元モデルは、未知の歪みによって劣化した入力から高品質な画像を回復することを目指しています。しかし、これらのモデルは訓練段階で全ての可能な劣化タイプを定義する必要があり、未見の劣化に対する汎化能力が限定的であるため、複雑なケースでの実用的な応用が制限されています。本論文では、単純ながら効果的な適応型全盲一括復元（Adaptive Blind All-In-One Restoration: ABAIR）モデルを提案します。このモデルは複数の劣化に対処でき、未見の劣化にも良好に汎化し、新しい劣化を少数のパラメータを訓練することで効率的に取り込むことができます。まず、我々はベースラインモデルを多数の合成劣化が施された自然画像の大規模データセットで訓練し、画素ごとの劣化タイプを推定するセグメンテーションヘッドを追加することで、広範囲の劣化に対して汎化できる強力なバックボーンを開発しました。次に、独立した低ランクアダプターを使用してベースラインモデルを異なる画像復元タスクに適応させました。さらに、柔軟かつ軽量な劣化推定器を通じて多様な画像に対してアダプターを適応的に組み合わせる方法を学習しました。本モデルは特定の歪みに対処する能力と複雑なタスクへの適応性の両方を持ち合わせており、5タスクおよび3タスクの画像復元（Image Restoration: IR）設定において大幅に最先端技術を超える性能を示すだけでなく、未見の劣化や複合的な歪みに対する汎化能力も向上しています。