FaceController: 자연스러운 환경에서의 얼굴에 대한 조절 가능한 속성 편집

얼굴 특성 편집은 다른 세부 정보를 유지하면서 하나 또는 여러 개의 원하는 얼굴 특성을 조작하여 얼굴을 생성하는 것을 목표로 한다. 기존의 GAN 역변환 기법과 달리, 비용이 많이 드는 역변환 과정을 필요로 하지 않고, 간단한 전방향 네트워크를 제안함으로써 고해상도의 조작된 얼굴을 생성한다. 기존에 쉽게 확보할 수 있는 사전 정보를 단순히 활용함으로써, 본 방법은 자연 환경에서의 다양한 얼굴 특성을 제어하고 전이하며 편집할 수 있다. 따라서 본 방법은 얼굴 교체, 얼굴 조명 재설정, 메이크업 전이 등 다양한 응용 분야에 활용될 수 있다. 본 방법에서는 3D 사전 정보를 이용하여 정체성, 표정, 자세, 조명을 분리하고, 영역별 스타일 코드를 활용하여 텍스처와 색상을 별도로 처리한다. 모든 정보는 정체성-스타일 정규화 모듈을 통해 적대적 학습에 통합된다. 각 특성에 대한 정보를 독립적으로 추출할 수 있도록 하기 위해, 분리 손실(disentanglement losses)을 제안한다. 광범위한 정량적 및 정성적 평가를 수행한 결과, 단일 프레임워크 내에서 다양한 얼굴 응용 분야에서 최고 또는 경쟁력 있는 성능을 달성하였다.