PULSE: 생성 모델의 잠재 공간 탐색을 통한 자기지도 학습 사진 업샘플링

단일 이미지 초해상도 재구성의 주된 목적은 해당 저해상도(LR) 입력으로부터 고해상도(HR) 이미지를 복원하는 것이다. 기존의 대부분의 접근 방식은 일반적으로 감독 학습 기반으로, 초해상도(SR) 이미지와 HR 이미지 간의 픽셀 단위 평균 거리를 측정하는 학습 목표를 사용한다. 이러한 지표를 최적화하는 과정은 특히 고분산(세부 정보가 풍부한) 영역에서 흐림 현상을 초래하는 경향이 있다. 본 연구에서는 원래의 저해상도 이미지에 정확히 다운스케일링되는 현실적인 SR 이미지를 생성하는 새로운 초해상도 문제 정의를 제안한다. 이를 해결하기 위한 알고리즘으로, PULSE(Photo Upsampling via Latent Space Exploration)를 제시하며, 기존 문헌에서 관측되지 않았던 고해상도에서 현실적인 이미지를 생성할 수 있다. 이 방법은 완전히 자기지도 학습(self-supervised) 방식으로 작동하며, 학습 과정에서 사용된 특정한 왜곡 연산자에 제한되지 않는다. 기존 방법들은 LR-HR 이미지 쌍 데이터베이스에 대한 감독 학습이 필요하지만, PULSE는 그러한 제약이 없다. 기존의 접근 방식이 저해상도 이미지를 기반으로 서서히 세부 정보를 추가하는 것과 달리, PULSE는 고해상도 자연 이미지 다양체를 탐색하며, 원래의 저해상도 이미지로 다운스케일링되는 이미지를 탐색한다. 이 과정은 생성 모델의 잠재 공간(latent space)을 탐색하는 데 지도하는 ‘다운스케일링 손실(downsampling loss)’을 통해 수학적으로 정의된다. 고차원 정규분포의 성질을 활용하여 탐색 공간을 제한함으로써 현실적인 출력을 보장한다. 결과적으로 PULSE는 현실적이면서도 원래 저해상도 이미지로 정확히 다운스케일링되는 초해상도 이미지를 생성할 수 있다. 본 연구에서는 얼굴 초해상도(즉, 얼굴 환상화) 영역에서 제안 방법의 개념 증명을 보여준다. 또한 현재 구현된 방법의 한계와 편향에 대한 논의와 함께 관련 메트릭을 포함한 모델 카드(model card)를 제시한다. 본 방법은 이전까지 불가능했던 더 높은 해상도와 확대 비율에서도 최첨단 기법보다 더 뛰어난 인지적 품질을 달성한다.