단일 이미지에서 대자세 3D 얼굴 재구성: 직접적인 볼륨 CNN 회귀를 통한 방법

3D 얼굴 재구성은 매우 어려운 기본적인 컴퓨터 비전 문제입니다. 현재 시스템들은 종종 여러 개의 얼굴 이미지를 입력으로 가정하며(때로는 동일한 주체에서 얻은 것), 큰 얼굴 자세, 표정, 불균일한 조명 등에 대한 밀도 높은 대응을 설정하는 등의 다양한 방법론적 과제를 해결해야 합니다. 일반적으로 이러한 방법들은 모델 구축과 맞춤을 위한 복잡하고 비효율적인 파이프라인이 필요합니다. 본 연구에서는 이러한 제약들을 극복하기 위해 2D 이미지와 3D 얼굴 모델 또는 스캔으로 구성된 적절한 데이터셋에서 합성곱 신경망(CNN)을 훈련시키는 방안을 제안합니다. 제안된 CNN은 단 하나의 2D 얼굴 이미지만 사용하며, 정확한 정렬이 필요하지 않고 이미지 간의 밀도 높은 대응을 설정하지 않습니다. 또한 임의의 얼굴 자세와 표정에 대해 작동하며, 훈련 중 3D 변형 가능 모델의 구축과 테스트 중 맞춤 과정을 생략하여 전체 3D 얼굴 기하학(얼굴의 보이지 않는 부분 포함)을 재구성할 수 있습니다. 우리는 단순한 CNN 아키텍처를 통해 이점을 달성하는데, 이 아키텍처는 단일 2D 이미지로부터 3D 얼굴 기하학의 부피 표현을 직접 회귀합니다. 또한 큰 자세와 표정의 경우 특히 재구성 품질을 개선하는 데 도움이 되는 관련 작업인 얼굴 랜드마크 위치 결정이 제안된 프레임워크에 통합될 수 있음을 보여줍니다. 테스트 코드와 사전 훈련된 모델은 온라인에서 제공될 예정입니다: http://aaronsplace.co.uk/papers/jackson2017recon