현실적인 생성형 3D 얼굴 모델을 향해

최근 몇 년간 애니메이션, 합성 데이터 생성, 디지털 아바타 등 다양한 응용 분야의 발전으로 인해 2차원 생성형 얼굴 모델 분야에서 상당한 진전이 이루어졌다. 그러나 3차원 정보가 부족한 점으로 인해 기존 2D 모델은 자세, 표정, 조명과 같은 얼굴 특성들을 정확히 분리하는 데 어려움을 겪으며, 이로 인해 편집 능력이 제한된다. 이러한 한계를 해결하기 위해 본 논문은 기존의 2D 생성형 모델을 활용하여 고해상도의 알베도(albedo)와 정밀한 3차원 형태를 생성할 수 있는 3차원 제어 가능한 생성형 얼굴 모델을 제안한다. 2D 얼굴 생성 모델과 의미론적 얼굴 편집 기법을 결합함으로써, 세부적인 3차원 렌더링 얼굴의 편집이 가능해진다. 제안된 프레임워크는 형태(shape)와 알베도 간의 교대 하강 최적화(alternating descent optimization) 방식을 사용한다. 또한, 3D 레이어링을 사용하지 않고도 고해상도의 형태와 알베도를 학습하기 위해 미분 가능한 렌더링(differentiable rendering) 기법을 활용한다. 더불어, 잘 알려진 NoW 기준에서 형태 재구성 측면에서 기존 최고 성능(SOTA) 방법들을 능가하며, 새로운 자세에서 렌더링된 얼굴의 정체성을 복원하는 데 있어서도 평균 10% 이상의 성능 향상을 보였다. 또한, 잠재 공간(latent space)을 활용해 3차원 얼굴의 표정을 직접 제어함으로써 텍스트 기반의 3차원 얼굴 편집이 가능함을 실험적으로 입증하였다.