要約
画像修復の目的は、劣化した観測画像から高品質な画像を回復することである。現存する方法の多くは単一の劣化除去に焦点を当てているため、他の種類の劣化に対して最適な結果をもたらさない場合があり、これは実世界のアプリケーションにおいて満足できる性能を提供できない可能性がある。本論文では、プロンプトベース学習を利用し、単一モデルが効率的に複数の画像劣化タスクに対処できる新しいデータ成分指向アプローチを提案する。具体的には、エンコーダーを使用して特徴量を抽出し、劣化固有の情報を含むプロンプトを導入して、デコーダーが様々な劣化によって影響を受けた画像を適応的に修復するようにガイドする。高品質な画像修復のために局所不変性と非局所情報をモデル化するために、CNN（畳み込みニューラルネットワーク）操作とTransformer（変換器）を組み合わせた。さらに、Transformerブロック内での計算量削減と選択的な情報保存を可能にするために、マルチヘッド再配置注意機構付きプロンプト（Multi-Head Rearranged Attention with Prompts）とシンプルゲートフィードフォワードネットワーク（Simple-Gate Feed-Forward Network）などの重要な設計を行った。これにより効率的な潜在的なシャープな画像の回復が促進される。また、多尺度情報を探索し集約された特徴量を改善するための特徴融合メカニズムを取り入れた。その結果得られた密接に連携した階層構造アーキテクチャはCAPTNetと命名され、広範な実験により当該手法が最先端技術と競合する性能を持つことが示されている。