要約
深層学習に基づく画像復元手法は、一般的に元の画像の構造を忠実に保つことに苦労しています。本研究では、新しい残差条件付き最適輸送（Residual-Conditioned Optimal Transport: RCOT）アプローチを提案します。この手法は、ペアありおよびペアなしの両設定において、画像復元を最適輸送（Optimal Transport: OT）問題としてモデル化し、輸送残差を輸送コストと輸送マップの両方に特異的な劣化情報cueとして導入します。具体的には、まず劣化特異的な情報が含まれたフーリエ残差ガイドのOT目的関数を形式化します。次に、輸送マップをベースモデルと改良プロセスからなる2段階RCOTマップとして設計します。ここで、最初の段階でベースモデルによって輸送残差が計算され、その後2段階目の復元に劣化特異的な埋め込みとしてエンコードされます。双対性により、RCOT問題は最小最大最適化問題に変換され、これは敵対的訓練によってニューラルネットワークを解くことができます。複数の復元タスクに対する広範な実験結果は、RCOTが歪み測定値と知覚品質の両面で競争力のある性能を達成しており、最先端手法と比較してより忠実な構造を持つ画像を復元できることを示しています。