제한된 훈련 데이터를 활용한 얼굴 정렬을 위한 StyleGAN 잠재 공간 탐색

지난 수년간 딥러닝 모델의 규모가 점점 커지면서 파라미터 수가 수십억에 이를 정도로 증가함에 따라, 대규모의 레이블링된 학습 데이터셋에 대한 수요도 함께 증가하고 있다. 이러한 문제를 완화하기 위해 자기지도 학습(self-supervised learning)에 대한 관심이 더욱 높아지고 있다. 특히 생성적 적대 신경망(Generative Adversarial Networks, GAN)과 그 중에서도 StyleGAN의 등장으로 인해 이미지 생성 품질이 크게 향상되고 있다. 본 논문에서는 이미지 생성이 아닌, 제한된 학습 데이터 하에서 얼굴 정렬(face alignment)을 수행하기 위해 StyleGAN을 활용하는 새로운 접근법을 제안한다. 제안하는 프레임워크인 'StyleGAN 임베딩을 이용한 얼굴 정렬(Face Alignment using StyleGAN Embeddings, FASE)'는 실제 이미지를 StyleGAN의 잠재 공간(latent space)에 투영한 후, 해당 잠재 벡터로부터 얼굴 랜드마크를 예측하는 방식을 사용한다. 제안한 방법은 소수의 샘플( few-shot setting)에서 여러 얼굴 정렬 데이터셋에서 최신 기술 수준의 성능을 달성하였다.