FFHQ-UV: 3D 얼굴 재구성용 정규화된 얼굴 UV 텍스처 데이터셋

우리는 다양한 조명 조건에서 현실적인 3D 얼굴 모델 렌더링에 적합한, 균일한 조명, 중립적인 표정, 청소된 얼굴 영역을 갖춘 5만 개 이상의 고품질 텍스처 UV 매핑을 포함하는 대규모 얼굴 UV 텍스처 데이터셋을 제안한다. 이 데이터셋은 FFHQ라는 대규모 얼굴 이미지 데이터셋에서, 우리 개발한 완전 자동화且 강건한 UV 텍스처 생성 파이프라인을 활용해 도출되었다. 본 파이프라인은 최근의 StyleGAN 기반 얼굴 이미지 편집 기법을 활용하여 단일 이미지 입력으로부터 다각도 정규화된 얼굴 이미지를 생성한다. 이후 정규화된 얼굴 이미지로부터 고도로 설계된 UV 텍스처 추출, 보정 및 보완 절차를 적용하여 고품질의 UV 매핑을 생성한다. 기존의 UV 텍스처 데이터셋과 비교하여, 본 데이터셋은 보다 다양하고 고해상도의 텍스처 매핑을 제공한다. 또한, 파라메트릭 피팅 기반 3D 얼굴 재구성에 사용할 수 있는 비선형 텍스처 기저로 GAN 기반 텍스처 디코더를 추가로 학습시켰다. 실험 결과, 제안하는 방법은 최신 기술 대비 재구성 정확도를 향상시키며, 더 중요한 점은 현실적인 렌더링에 바로 활용 가능한 고품질의 텍스처 매핑을 생성한다는 점이다. 본 데이터셋, 코드 및 사전 학습된 텍스처 디코더는 https://github.com/csbhr/FFHQ-UV에서 공개되어 있다.