Blind Super Resolution을 위한 교대 최적화의 전개

기존 방법들은 블라인드 슈퍼 해상도(SR) 문제를 두 단계로 분해하여 처리한다: \textit{i}) 주어진 저해상도(LR) 이미지에서 블러 커널을 추정하고, \textit{ii}) 추정된 커널을 기반으로 SR 이미지를 복원하는 것이다. 이러한 두 단계 해결 방식은 독립적으로 훈련된 두 개의 모델을 포함하며, 이들 모델이 서로 잘 호환되지 않을 수 있다. 첫 번째 단계에서의 작은 추정 오차가 두 번째 단계의 성능을 크게 저하시킬 수 있으며, 반면에 첫 번째 단계는 LR 이미지에서 제한된 정보만을 활용할 수 있어 매우 정확한 블러 커널 예측이 어렵다.이러한 문제들을 해결하기 위해, 우리는 이 두 단계를 별개로 고려하지 않고 대신 교대 최적화 알고리즘을 채택하였다. 이를 통해 단일 모델에서 블러 커널을 추정하고 SR 이미지를 복원할 수 있다. 구체적으로, \textit{복원기(Restorer)}와 \textit{추정기(Estimator)}라는 두 개의 합성곱 신경망 모듈을 설계하였다. \textit{복원기}는 예측된 커널을 기반으로 SR 이미지를 복원하고, \textit{추정기}는 복원된 SR 이미지를 도움으로써 블러 커널을 추정한다. 우리는 이 두 모듈을 반복적으로 교대로 실행하며, 이 과정을 전개하여 엔드투엔드(end-to-end)로 훈련 가능한 네트워크를 형성하였다.이렇게 하면, \textit{추정기}는 LR 및 SR 이미지 모두에서 정보를 활용할 수 있어 블러 커널의 추정이 더 용이해진다. 더욱 중요한 점은, \textit{복원기}가 진실값(ground-truth) 커널이 아닌 \textit{추정기}가 추정한 커널로 훈련되기 때문에, \textit{복원기}는 \textit{추정기}의 추정 오차에 대해 더 유연하게 대처할 수 있다는 것이다. 합성 데이터셋과 실제 이미지에 대한 광범위한 실험 결과, 우리의 모델은 최신 방법론보다 크게 우수한 성능을 보이며, 훨씬 더 빠른 속도로 시각적으로 더 만족스러운 결과를 생성함을 확인하였다. 소스 코드는 https://github.com/greatlog/DAN.git 에서 제공된다.