3D 얼굴 재구성과 밀도 높은 랜드마크

랜드마크는 얼굴 분석에서 종종 핵심적인 역할을 하지만, 정밀한 정체성 또는 표정 정보는 희소한 랜드마크만으로는 충분히 표현할 수 없습니다. 따라서 얼굴을 더 정확히 재구성하기 위해 랜드마크는 종종 깊이 이미지와 같은 추가 신호나 미분 가능한 렌더링과 같은 기법과 결합됩니다. 그런데 단순히 더 많은 랜드마크만 사용하는 방식으로 간단히 해결할 수 있을까? 이를 해결하기 위해 우리는 기존의 10배에 달하는 랜드마크를 정확히 예측하는 최초의 방법을 제안합니다. 이 방법은 눈과 치아를 포함한 전체 머리 부위까지 포괄하는 밀도 높은 랜드마크를 예측할 수 있습니다. 이는 합성 학습 데이터를 활용함으로써 완벽한 랜드마크 애너테이션을 보장함으로써 가능해졌으며, 이러한 밀도 높은 랜드마크에 대해 형태 변형 모델(morphable model)을 피팅함으로써, 단일 카메라 기반 야외 환경에서도 최신 기술 수준의 3D 얼굴 재구성 결과를 달성합니다. 우리는 밀도 높은 랜드마크가 프레임 간 얼굴 형태 정보를 통합하는 데 이상적인 신호임을 보여주며, 단일 카메라 및 다중 시점 환경 모두에서 정확하고 표현력 있는 얼굴 성능 캡처를 가능하게 함을 입증합니다. 본 방법은 또한 매우 효율적입니다. 단일 CPU 스레드에서 밀도 높은 랜드마크 예측과 3D 얼굴 모델 피팅을 150FPS 이상으로 수행할 수 있습니다. 자세한 내용은 다음 웹사이트를 참조하시기 바랍니다: https://microsoft.github.io/DenseLandmarks/.