要約
オールインワン画像修復は、実世界の応用において実用的で有望な低レベル視覚タスクとして注目を集めています。この文脈では、異なる種類の劣化画像を同時に処理する方法が重要な課題となっています。本研究では、非対応および対応設定における（オールインワン）画像修復を最適輸送（OT）問題としてモデル化し、輸送残差を輸送コストと輸送マップの劣化特異的な手がかりとして導入する、劣化認識型残差条件付き最適輸送（Degradation-Aware Residual-Conditioned Optimal Transport: DA-RCOT）アプローチを提案します。具体的には、フーリエ残差の劣化特異的なパターンを利用することで、残差ガイド付きOT目的関数による画像修復を形式化しています。さらに重要な点は、修復用の輸送マップを二段階のDA-RCOTマップとして設計していることです。最初の段階で輸送残差が計算され、次に多スケール残差埋め込みとして符号化され、第二段階の修復に条件付けされます。この条件付け過程により、多スケール残差埋め込みから得られる内在的な劣化知識（例：劣化タイプとレベル）や構造情報をOTマップに注入し、それによってオールインワン修復のために動的に動作を調整することが可能になります。5つの劣化に対する広範な実験結果は、歪み測定値、知覚品質、画像構造の保存という観点で、DA-RCOTが最先端手法と比較して優れた性能を示すことを証明しています。特に注目に値するのは、複数の劣化が存在する場合でもリアルワールドシナリオへの優れた適応性と、劣化レベルや劣化数に対する独自の堅牢性です。