엔드투엔드 교대 최적화를 통한 블라인드 슈퍼 해상도

이전의 방법들은 맹목적 초해상도 증대(blind super-resolution, SR) 문제를 두 단계의 순차적 과정으로 분해한다. 첫 번째 단계는 주어진 저해상도(LR) 이미지에서 블러 커널을 추정하는 것이고, 두 번째 단계는 추정된 커널을 기반으로 고해상도(SR) 이미지를 복원하는 것이다. 이 두 단계의 접근법은 각각 독립적으로 학습된 두 개의 모델을 사용하기 때문에, 서로 간의 호환성이 낮을 수 있다. 또한 첫 번째 단계에서의 작은 추정 오차가 두 번째 단계의 성능 저하를 야기할 수 있다. 한편, 첫 번째 단계는 저해상도 이미지에서 얻을 수 있는 정보가 제한적이므로, 매우 정확한 블러 커널을 예측하는 데 어려움이 있다. 이러한 문제들을 해결하기 위해, 두 단계를 별도로 고려하는 대신, 하나의 모델 내에서 블러 커널 추정과 SR 이미지 복원을 동시에 수행할 수 있는 교대 최적화(alternating optimization) 알고리즘을 채택한다. 구체적으로, \textit{Restorer}와 \textit{Estimator}라는 두 개의 합성곱 신경망 모듈을 설계한다. \textit{Restorer}는 예측된 커널을 기반으로 SR 이미지를 복원하고, \textit{Estimator}는 복원된 SR 이미지를 활용하여 블러 커널을 추정한다. 이 두 모듈을 반복적으로 교대하며, 이 과정을 전방으로 전개하여 엔드투엔드(end-to-end) 학습 가능한 네트워크를 구성한다. 이를 통해 \textit{Estimator}는 LR 이미지뿐 아니라 SR 이미지로부터도 정보를 활용할 수 있어 블러 커널 추정이 보다 용이해진다. 더욱 중요한 점은, \textit{Restorer}가 참값(ground-truth) 커널이 아닌 \textit{Estimator}가 추정한 커널을 기반으로 학습되기 때문에, \textit{Estimator}의 추정 오차에 대해 더 강건한 성능을 발휘할 수 있다는 것이다. 합성 데이터셋과 실제 이미지에 대한 광범위한 실험 결과는 제안하는 모델이 최신 기술을 크게 능가하며, 훨씬 빠른 속도로 더 시각적으로 우수한 결과를 생성함을 보여준다. 소스 코드는 \url{https://github.com/greatlog/DAN.git}에서 공개되어 있다.