초록
얼굴의 기본 구조를 최대한 활용하고, 얼굴 데이터셋을 통해 얻은 집합적 정보 및 업샘플링 과정 중간에 생성된 추정 값을 효과적으로 활용하기 위해, 본 논문에서는 얼굴 이미지에 대한 4× 초해상도 복원을 위한 완전 컨볼루션 다단계 신경망을 제안한다. 우리는 세그멘테이션 네트워크를 활용하여 얼굴 구성 요소별로 은유적인 주의 맵(attention maps)을 도입함으로써, 네트워크가 얼굴 고유의 패턴에 집중할 수 있도록 한다. 본 네트워크의 각 단계는 스템(Stem) 계층, 잔차(Residual) 백본, 그리고 공간적 업샘플링 계층으로 구성된다. 우리는 이러한 단계를 반복적으로 적용하여 중간 이미지를 재구성하고, 그 중간 이미지의 공간-심도 변환(spatial-to-depth conversion) 버전을 재사용하여 이미지 품질을 점진적으로 부트스트랩하고 향상시킨다. 실험 결과, 기존 최첨단 기법들과 비교하여 제안하는 얼굴 초해상도 복원 방법이 정량적 성능과 시각적 만족도 면에서 모두 뛰어난 결과를 달성함을 확인하였다.