다중 시점 융합을 이용한 3D 인간 자세 추정

다중 뷰 이미지에서 절대 3D 인간 자세를 복원하기 위한 접근 방식을 제시합니다. 이 방법은 다중 뷰 기하학적 사전 정보를 모델에 통합하여 구성됩니다. 이 과정은 두 단계로 나뉩니다: (1) 다중 뷰 이미지에서 2D 자세 추정 및 (2) 다중 뷰 2D 자세로부터 3D 자세 복원입니다. 첫째, CNN에 크로스뷰 융합 방안을 도입하여 여러 뷰의 2D 자세를 공동으로 추정합니다. 그 결과 각 뷰의 2D 자세 추정이 다른 뷰들로부터 이미 혜택을 받습니다. 둘째, 다중 뷰 2D 자세로부터 3D 자세를 복원하기 위해 재귀적인 그림 구조 모델을 제시합니다. 이 모델은 저렴한 계산 비용으로 점차적으로 3D 자세의 정확도를 향상시킵니다. 우리는 H36M과 Total Capture라는 두 개의 공개 데이터셋에서 우리의 방법을 테스트했습니다. 두 데이터셋에서의 평균 관절 위치 오류는 각각 26mm와 29mm로, 현존하는 최고 수준의 기술보다 크게 우수한 성능을 보였습니다(26mm 대 52mm, 29mm 대 35mm). 우리의 코드는 \url{https://github.com/microsoft/multiview-human-pose-estimation-pytorch}에서 제공됩니다.