Super-FAN: GAN을 이용한 임의 자세의 실제 저해상도 얼굴에 대한 통합된 랜드마크 위치 추정 및 초해상도 재구성

본 논문은 2가지 도전적인 과제를 다룹니다: 저해상도 얼굴 이미지의 품질 개선과 이러한 해상도가 낮은 이미지에서 얼굴 랜드마크를 정확히 위치시키는 것입니다. 이를 위해 다음과 같은 5가지 기여를 제시합니다: (a) Super-FAN을 제안합니다. 이는 양쪽 과제를 동시에 해결하는 최초의 엔드투엔드 시스템으로, 얼굴 해상도를 개선하고 동시에 얼굴 랜드마크를 감지합니다. Super-FAN의 혁신성은 GAN(Generative Adversarial Network)-기반 초해상화 알고리즘에 구조적 정보를 통합하는 데 있으며, 이는 히트맵 회귀를 통해 얼굴 정렬을 위한 하위 네트워크를 통합하고 새로운 히트맵 손실 함수를 최적화함으로써 이루어집니다. (b) 두 네트워크를 공동으로 학습하는 이점이 프론트얼 이미지만 아니라 모든 종류의 얼굴 자세에서, 그리고 합성 저해상도 이미지만 아니라 실제 환경 이미지에서도 좋은 결과를 보임으로써 입증됩니다. (c) 새로운 잔차 기반 아키텍처를 제안하여 얼굴 초해상화 분야에서 기존 연구보다 우수한 성능을 달성하였습니다. (d) 양적으로, 우리는 얼굴 초해상화와 정렬 모두에서 기존 연구보다 크게 개선된 결과를 보여줍니다. (e) 질적으로, 우리는 처음으로 실제 환경 저해상도 이미지에서 좋은 결과를 보여줍니다.