단안 실시간 전신 포착을 위한 상호 부위 상관관계 활용 기법

단일 컬러 이미지에서 신체와 손의 형태와 움직임을 동시에 추정하고 동적 3D 얼굴 모델을 생성하는 실시간 전신 포착을 위한 최초의 방법을 제안한다. 본 연구에서 제안하는 접근법은 신체와 손 간의 상관관계를 고도로 효율적인 계산 환경에서 활용하는 새로운 신경망 아키텍처를 사용한다. 기존의 방법들과 달리, 본 연구는 손, 신체, 얼굴 각각에 초점을 맞춘 복수의 데이터셋을 함께 학습하며, 모든 부위가 동시에 레이블링된 데이터를 요구하지 않아도 된다. 이는 모든 부위가 동시에 레이블링된 데이터를 충분한 다양성으로 구축하는 것이 훨씬 어려운 점을 고려할 때 큰 장점이다. 이러한 다중 데이터셋 학습의 가능성이 우수한 일반화 능력을 가능하게 한다. 이전의 단일 카메라 기반 전신 포착 방법들과 비교해, 본 방법은 통계적 얼굴 모델의 형태, 표정, 반사율(albedo), 조명 파라미터를 추정함으로써 더 표현력이 풍부한 3D 얼굴 기하학적 구조와 색상 정보를 포착할 수 있다. 제안한 방법은 공개 벤치마크에서 경쟁력 있는 정확도를 달성하면서도, 기존 방법보다 훨씬 빠르며, 보다 완전한 얼굴 재구성을 제공한다.