웨이브릿-SRNet: 다중 스케일 얼굴 초해상도를 위한 웨이브릿 기반 CNN

최근의 대부분의 얼굴 초해상도 재구성 기법은 고해상도(HR) 얼굴 이미지를 추정하기 위해 합성곱 신경망(CNN)을 활용한다. 그러나 매우 낮은 해상도(LR) 이미지를 처리할 경우, 이러한 CNN 기반 기법의 성능은 크게 저하된다. 또한 이러한 기법들은 일반적으로 과도하게 부드러운 출력을 생성하며, 일부 텍스처 세부 정보를 놓치는 경향이 있다. 이러한 문제를 해결하기 위해 본 논문에서는 일관된 프레임워크 내에서 16×16 픽셀 이하의 매우 낮은 해상도의 얼굴 이미지를 2배, 4배, 8배 및 심지어 16배까지의 다양한 확대 요소로 초해상도화할 수 있는 웨이브릿 기반 CNN 기법을 제안한다. 기존의 CNN 기법이 직접 HR 이미지를 추정하는 방식과 달리, 본 연구에서는 먼저 LR 이미지에 대응하는 HR 이미지의 웨이브릿 계수 시리즈를 예측한 후, 이를 바탕으로 HR 이미지를 재구성하는 방식을 채택한다. 인간 얼굴의 전반적인 구조적 정보와 국소적인 텍스처 세부 정보를 동시에 포착하기 위해, 세 가지 유형의 손실 함수(웨이브릿 예측 손실, 텍스처 손실, 전체 이미지 손실)를 갖춘 유연하고 확장 가능한 합성곱 신경망을 제안한다. 광범위한 실험 결과는 제안된 기법이 최신 초해상도 기법들에 비해 정량적·정성적으로 더 우수한 성능을 달성함을 입증한다.