원단 이미지에서 6DoF 얼굴 자세 추정을 통한 투영 시점에서의 3D 얼굴 재구성 연구

3D 얼굴 재구성 분야에서 직교 투영(orthogonal projection)은 적합 과정을 단순화하기 위해 원근 투영(perspective projection)을 대체하는 데 널리 활용되어 왔다. 이 근사 방법은 카메라와 얼굴 간의 거리가 충분히 멀 때 우수한 성능을 발휘한다. 그러나 얼굴이 카메라에 매우 가까이 있거나 카메라 축을 따라 움직이는 경우, 원근 투영에 의해 발생하는 왜곡으로 인해 재구성 정확도가 저하되고 시간적 적합 과정이 불안정해지는 문제가 발생한다. 본 논문에서는 원근 투영 하에서 단일 이미지 기반 3D 얼굴 재구성 문제를 해결하고자 한다. 구체적으로, 표준 공간(canonical space) 내에서 3D 얼굴 형태를 동시에 재구성하고, 2D 픽셀과 3D 점 간의 대응 관계를 학습할 수 있는 딥 신경망인 'Perspective Network(PerspNet)'을 제안한다. 이를 통해 6DoF(6 Degrees of Freedom) 얼굴 자세를 추정함으로써 원근 투영을 정확히 표현할 수 있다. 또한, 원근 투영 상황에서의 3D 얼굴 재구성 솔루션의 학습과 평가를 가능하게 하기 위해, 902,724개의 2D 얼굴 이미지, 각각에 대한 정답 3D 얼굴 메시, 그리고 6DoF 자세 파라미터가 주석된 대규모 ARKitFace 데이터셋을 기여한다. 실험 결과, 제안하는 방법이 현재 최고 수준의 기법들에 비해 뚜렷한 성능 우위를 보였다. 코드와 데이터는 https://github.com/cbsropenproject/6dof_face 에서 공개되어 있다.