다중 뷰 이미지로부터의 다수의 인간 3D 자세 추정

다수의 인간 3차원 자세 추정은 도전적인 과제이다. 이는 인간의 스케일과 자세에 큰 변동이 존재하고, 빠른 움직임이 발생하며, 장면 내에 여러 명의 사람이 존재할 뿐만 아니라, 가려짐이나 단절로 인해 보이는 신체 부위의 수가 임의로 달라질 수 있기 때문이다. 이러한 모호성 중 일부는 다중 시점 영상(multiview images)을 활용함으로써 해결할 수 있다. 그 이유는 다중 시점에서는 신체 부위에 대한 더 많은 증거(evidence)를 확보할 수 있기 때문이다. 본 연구에서는 다중 시점 영상 내의 증거를 활용한 다수의 인간 3차원 자세 추정을 위한 새로운 방법을 제안한다. 제안된 방법은 두 가지 유형의 쌍별 항목(pairwise terms)을 포함하는 완전 연결형 쌍별 조건부 확률장(conditional random field, CRF)을 사용한다. 첫 번째 쌍별 항목은 관절 구조를 기반으로 한 인체의 관절 간 공간적 종속성을 표현한다. 두 번째 쌍별 항목은 2차원 딥 파트 탐지기(deep part detector)의 출력에 기반한다. 이후 루프형 신뢰도 전파(loopy belief propagation) 알고리즘을 이용한 근사 추론(approximate inference)을 수행한다. 제안된 방법은 Campus, Shelf, Utrecht Multi-Person Motion 벤치마크, Human3.6M, KTH Football II, 그리고 MPII Cooking 데이터셋에서 평가되었다. 실험 결과, 제안된 방법은 정확한 자세의 확률 및 관절별 평균 위치 오차(mean per joint position error) 측면에서 기존 최첨단 기법들에 비해 상당한 성능 향상을 달성함을 보였다.