스파스니스가 딥니스를 만나다: 단일 카메라 비디오에서의 3D 인간 자세 추정

본 논문은 단일 카메라 이미지 시퀀스에서 3차원 전체 인체 자세 추정의 문제를 다룹니다. 여기서 두 가지 경우가 고려됩니다: (i) 인간 관절의 이미지 위치가 제공되는 경우와 (ii) 관절의 이미지 위치가 알려지지 않은 경우입니다. 전자의 경우, 희소성 기반 3D 기하학적 사전 정보와 시간적 매끄러움을 통합하는 새로운 접근법이 소개됩니다. 후자의 경우, 전자의 방법을 확장하여 관절의 이미지 위치를 잠재 변수로 처리합니다. 깊은 완전 합성곱 네트워크는 2D 관절 위치의 불확실성 맵을 예측하도록 훈련됩니다. 3D 자세 추정은 전체 시퀀스에 대한 기대최대화 알고리즘을 통해 이루어지며, 추론 과정에서 2D 관절 위치의 불확실성이 편리하게 마르코프 연산(Marginalized out)될 수 있음을 보여줍니다. Human3.6M 데이터셋에 대한 경험적 평가는 제안된 접근법이 최신 기준 모델보다 더 높은 3D 자세 추정 정확도를 달성함을 입증합니다. 또한, 제안된 접근법은 도전적인 PennAction 데이터셋에서 공개된 2D 자세 추정 기준 모델보다 우수한 성능을 보임을 확인할 수 있습니다.