17일 전
SRFlow: 정규화 흐름을 활용한 초해상도 공간 학습
Andreas Lugmayr, Martin Danelljan, Luc Van Gool, Radu Timofte

초록
초해상도화는 주어진 저해상도 이미지에 대해 다수의 예측이 가능하기 때문에 일반적으로 불안정한 문제로 간주된다. 이 근본적인 사실은 현재 최첨단의 딥러닝 기반 접근법들에 의해 거의 무시되고 있다. 이러한 방법들은 재구성 손실과 적대적 손실의 조합을 사용하여 결정론적 매핑을 학습한다. 본 연구에서는 이러한 한계를 보완하기 위해, 저해상도 입력에 대한 출력 조건부 분포를 학습할 수 있는 정규화 흐름(Flow) 기반 초해상도화 기법 SRFlow을 제안한다. 본 모델은 단일 손실인 음의 로그 가능도(negative log-likelihood)를 사용하여 체계적인 방식으로 학습되며, 이로 인해 문제의 불안정한 성질을 직접 반영하고, 다양한 사실적인 고해상도 이미지를 예측하도록 학습한다. 또한, SRFlow이 학습한 강력한 이미지 사후 분포를 활용하여, 예를 들어 다른 이미지의 콘텐츠를 전이함으로써 초해상도화된 이미지를 향상시킬 수 있는 유연한 이미지 조작 기법을 설계하였다. 우리는 얼굴 이미지에 대한 광범위한 실험을 수행하였으며, 일반적인 초해상도화 문제에 대해서도 실험을 진행하였다. 그 결과, SRFlow은 PSNR 및 주관적 품질 지표 측면에서 기존의 최첨단 GAN 기반 접근법을 모두 초월하면서도, 초해상도 솔루션 공간 탐색을 통해 다양한 결과를 생성할 수 있는 장점을 지닌다.