ASM: 고품질 3D 얼굴 모델링을 위한 적응형 스킨닝 모델

파라메트릭 얼굴 모델 및 3D 얼굴 재구성 연구 분야는 광범위하게 탐구되어 왔다. 그러나 여전히 해결되지 않은 핵심적인 질문이 존재한다. 즉, 특정 재구성 환경에 맞춰 얼굴 모델을 어떻게 맞춤화할 것인가이다. 우리는 다중 시점의 캘리브레이션되지 않은 이미지에 기반한 재구성은 더 강력한 능력을 갖춘 새로운 모델을 필요로 한다고 주장한다. 본 연구는 데이터에 의존적인 3D 모르포블 모델(3DMM)에 대한 기존의 초점을 벗어나, 아직 충분히 연구되지 않은 인간 설계형 스컬핑 모델에 주목한다. 우리는 보다 컴팩트하고 완전히 조정 가능한 파라미터를 갖춘 새로운 스컬핑 모델인 적응형 스컬핑 모델(Adaptive Skinning Model, ASM)을 제안한다. 광범위한 실험을 통해 ASM이 3DMM보다 훨씬 뛰어난 표현 능력을 갖추고 있음을 입증하였으며, 모델 크기의 작고 새로운 토폴로지에 대한 구현 용이성이라는 추가적인 장점을 지닌다. 본 연구는 플로렌스 MICC Coop 벤치마크에서 다중 시점 재구성 작업에서 최신 기술 수준의 성능을 달성하였다. 정량적 분석을 통해 다중 시점 입력에서 풍부한 정보를 효과적으로 활용하기 위해서는 고용량 모델의 중요성이 높다는 점을 입증하였다. 더불어, 물리적-의미론적 파라미터를 갖춘 본 모델은 게임 내 캐릭터 생성과 같은 실제 응용 분야에서 즉시 활용 가능하다. 결론적으로, 본 연구는 파라메트릭 얼굴 모델 분야에 새로운 연구 방향을 제시하며, 다중 시점 재구성 기술의 향후 발전을 촉진하는 기반이 되었다.