초록
기존의 얼굴 화질 향상 기법들은 입력 이미지가 충분히 크고 정렬되어 있으며, 노이즈가 없을 것이라는 가정을 내포하고 있다. 그러나 입력 이미지가 작고 정렬되지 않으며 노이즈에 오염된 경우, 이러한 기법의 성능은 급격히 저하된다. 본 논문에서는 정렬되지 않고 노이즈가 포함된 작고 낮은 해상도(16×16)의 얼굴 이미지를 8배로 초해상도화하는 새로운 변환형 구분형 오토인코더를 제안한다. 기존의 인코더-디코더 기반 오토인코더와는 달리, 본 연구는 디코더-인코더-디코더 구조의 네트워크를 사용한다. 먼저, 변환형 구분형 디코더 네트워크를 활용하여 이미지를 동시에 증강하고 노이즈를 제거한다. 그 다음, 변환형 인코더 네트워크를 사용하여 중간 단계의 고해상도 이미지를 정렬되고 노이즈가 없는 낮은 해상도 이미지로 매핑한다. 마지막으로 두 번째 디코더를 이용하여 환상적(high-resolution) 고해상도 이미지를 생성한다. 매우 큰 얼굴 이미지 데이터셋을 대상으로 수행한 광범위한 평가 결과, 제안한 방법은 기존 최고 수준의 기법보다 PSNR 기준으로 1.82dB의 큰 성능 우수성을 보였다.