자연 이미지에서 정확하고 세부적인 얼굴 재구성 위한 계층적 표현 네트워크

3DMM의 저차원 표현 능력이라는 한계로 인해, 대부분의 3DMM 기반 얼굴 재구성(FR) 방법은 주름, 볼록부 등 고주파 얼굴 세부 정보를 복원하지 못한다. 일부 연구는 세부 정보 맵이나 비선형 연산을 도입하여 문제를 해결하려 시도하지만, 여전히 결과가 생생하지 못하다. 이를 해결하기 위해 본 논문에서는 단일 이미지로부터 정확하고 세밀한 얼굴 재구성을 달성하기 위한 새로운 계층적 표현 네트워크(HRN)를 제안한다. 구체적으로, 기하학적 정보의 분리(geometric disentanglement)를 구현하고 계층적 표현을 도입하여 세밀한 얼굴 모델링을 실현한다. 동시에 얼굴 세부 정보에 대한 3D 사전 지식(3D priors)을 통합함으로써 재구성 결과의 정확성과 사실성 향상을 도모한다. 또한 기하학적 구조와 외형 정보의 더 나은 분리(Decoupling)를 위해 탈 리터칭(De-retouching) 모듈을 제안한다. 특히 본 프레임워크는 다양한 시점 간의 세부 정보 일관성(consistency)을 고려함으로써 다중 시점 방식으로 확장 가능하다는 점이 주목할 만하다. 단일 시점 및 다중 시점 FR 기준 데이터셋 두 개씩에 대한 광범위한 실험을 통해, 기존 방법들에 비해 본 방법이 재구성 정확도와 시각적 효과 측면에서 모두 우수한 성능을 보임을 입증하였다. 마지막으로, 고정밀 얼굴 재구성 연구를 촉진하기 위해 고품질 3D 얼굴 데이터셋 FaceHD-100을 공개한다. 프로젝트 홈페이지는 https://younglbw.github.io/HRN-homepage/ 에서 확인할 수 있다.