"Zero-Shot" Super-Resolution using Deep Internal Learning "제로샷" 초해상도 딥 인터널 학습을 이용한 방법

최근 몇 년 동안 딥 러닝은 초해상도(Super-Resolution, SR) 성능에 있어 극적인 발전을 가져왔습니다. 그러나 감독 학습을 기반으로 하는 이러한 SR 방법들은 고해상도(High-Resolution, HR) 이미지에서 저해상도(Low-Resolution, LR) 이미지를 획득하는 과정이 사전에 결정되어 있으며(예: 이중 세제곱 축소(bicubic downscaling)), 센서 노이즈, 이미지 압축, 비이상적인 점 확산 함수(PSF) 등의 방해 요소가 없는 특정 훈련 데이터에 제한됩니다. 하지만 실제 LR 이미지는 이러한 제한을 거의 따르지 않기 때문에 최신(SotA, State of the Art) 방법들로 처리할 때 SR 결과가 좋지 않습니다.본 논문에서는 "Zero-Shot" SR를 소개합니다. 이 방법은 딥 러닝의 힘을 활용하지만 사전 훈련에 의존하지 않습니다. 단일 이미지 내부에서 정보의 반복성을 활용하여, 테스트 시점에서 입력 이미지 자체에서 추출된 예제들만을 사용하여 작은 이미지 특화형 CNN(Convolutional Neural Network)을 훈련시킵니다. 이를 통해 각 이미지마다 다른 환경에 적응할 수 있습니다. 이는 실제 오래된 사진, 노이즈가 있는 이미지, 생물학적 데이터 등 획득 과정이 알려져 있지 않거나 비이상적인 경우에도 SR을 수행할 수 있게 합니다. 이러한 이미지들에 대해 우리의 방법은 최신 CNN 기반 SR 방법들과 이전의 비감독 학습 SR 방법들을 능가합니다. 우리 지식의 한계 내에서, 이는 첫 번째 비감독 학습 CNN 기반 SR 방법입니다.