エンドツーエンド交互最適化によるブラインドスーパーレゾリューション

従来の手法は、ブラインドスーパーレゾリューション（SR）問題を二段階の順次処理に分解するものである。すなわち、（i）与えられた低解像度（LR）画像からぼかしカーネルを推定し、（ii）推定されたカーネルに基づいてSR画像を復元する、という二段階である。この二段階アプローチでは、独立して訓練された二つのモデルが用いられるため、両者の互換性が十分に保たれない可能性がある。また、第一段階でのわずかな推定誤差が第二段階の性能を著しく低下させるリスクがある。さらに、第一段階ではLR画像からの情報利用が限定的であり、高精度なぼかしカーネルの推定は困難である。このような課題に対応するため、本研究では二段階を別々に扱うのではなく、一つのモデル内でぼかしカーネルの推定とSR画像の復元を同時に行う交互最適化アルゴリズムを採用する。具体的には、「Restorer」と「Estimator」という二つの畳み込みニューラルネットワークモジュールを設計した。Restorerは予測されたカーネルに基づいてSR画像を復元し、Estimatorは復元されたSR画像を補助情報として用いてぼかしカーネルを推定する。これらのモジュールを繰り返し交互に実行し、そのプロセスを展開することで、エンドツーエンドで訓練可能なネットワークを構築した。このアプローチにより、EstimatorはLR画像とSR画像の両方の情報を活用できるため、ぼかしカーネルの推定が容易になる。さらに重要な点として、Restorerは真値カーネルではなく、Estimatorによって推定されたカーネルを用いて訓練されるため、Estimatorの推定誤差に対してより耐性を持つことができる。合成データセットおよび実世界画像を用いた広範な実験の結果、本手法は最先端手法を大きく上回り、高い処理速度で視覚的に優れた結果を生成することが確認された。ソースコードは以下のURLから公開されている：\url{https://github.com/greatlog/DAN.git}。