
현재 시각 매체의 보편화로 인해 이미 많은 고해상도(HR) 얼굴 이미지가 존재합니다. 따라서, 주어진 매우 저해상도(LR) 얼굴 이미지를 초해상화(super-resolution, SR)할 때 같은 사람의 다른 HR 얼굴 이미지를 찾아 이를 과정에 활용할 가능성이 매우 높습니다. 본 논문에서는 CNN(컨벌루션 신경망) 기반의 해결책인 GWAInet을 제안합니다. 이 모델은 나이, 표정, 자세 또는 크기 등의 차이가 있을 수 있는 같은 사람의 자유롭게 얻어진 HR 얼굴 이미지를 안내 이미지로 사용하여 8배 해상도를 향상시키는 초해상화(SR)를 수행합니다. GWAInet은 적대적 생성 방식으로 훈련되어 원하는 고품질의 지각적 이미지 결과를 생성하도록 설계되었습니다. HR 안내 이미지의 활용은 워퍼 서브네트워크(warper subnetwork)를 통해 입력 이미지와 내용을 맞춤(alignment)하고, 워핑된 안내 이미지와 입력 이미지에서 추출된 특징들을 결합(fusion)하는 특징 융합 체인(feature fusion chain)을 사용하여 이루어집니다. 훈련 과정에서 식별 손실(identity loss)은 SR 및 HR 참조 이미지의 임베딩 벡터 사이의 거리를 최소화하여 관련된 식별 정보를 보존하는 데 도움을 줍니다. 현재 얼굴 초해상화 분야의 최신 기술과 달리, 우리의 방법은 훈련 과정에서 얼굴 랜드마크 점(facial landmark points)을 필요로 하지 않아 모델의 강건성을 증가시키고, 주변 얼굴 영역에서도 균일하게 미세한 세부 사항을 생성할 수 있습니다. 우리의 방법 GWAInet은 8배 해상도 확대(upscaling factor 8x)에서 사진처럼 실제적인 이미지를 생성하며, 정량적 측면과 지각적 품질(perceptual quality) 면에서 최신 기술(state-of-the-art)을 능가합니다.