17일 전
ImFace: 암묵적 신경 표현을 활용한 비선형 3D 형태화된 얼굴 모델
Mingwu Zheng, Hongyu Yang, Di Huang, Liming Chen

초록
3D 얼굴의 정밀한 표현은 다양한 컴퓨터 비전 및 그래픽 응용 분야에 유익하다. 그러나 현재의 연구에서는 데이터 이산화와 모델의 선형성으로 인해 정확한 정체성 및 표정 정보를 포착하는 것이 여전히 도전 과제로 남아 있다. 본 논문은 암묵적 신경 표현을 활용하여 비선형적이고 연속적인 공간을 학습할 수 있는 새로운 3D 모르포블 얼굴 모델, 즉 ImFace를 제안한다. ImFace는 정체성과 표정에 각각 관련된 복잡한 형태를 모델링하기 위해 두 개의 명시적으로 분리된 변형 필드를 구축하며, 더 다양한 변화를 가능하게 하기 위해 표정 임베딩을 확장하는 개선된 학습 전략을 설계하였다. 또한, 여러 로컬 필드를 적응적으로 혼합함으로써 정교한 세부 정보를 학습하기 위해 신경 블렌드 필드(Neural Blend-Field)를 도입하였다. ImFace 외에도, 암묵적 표현에서 흔히 요구되는 밀폐된 입력 조건( watertight input requirement) 문제를 해결하기 위한 효과적인 사전 처리 파이프라인을 제안하여, 일반적인 얼굴 표면과 함께 작동할 수 있도록 하였다. 이는 암묵적 표현 기술이 기존 얼굴 표면 데이터와 처음으로 호환 가능하게 된 중요한 전환점이다. 광범위한 실험을 통해 ImFace의 우수성을 입증하였다.