기반 그래프를 이용한 다중 시점 이미지를 활용한 3차원 다수인의 자세 추정

본 논문은 다수의 보정된 카메라 시점에서 다수의 사람에 대한 3차원 인간 자세 추정 작업을 연구한다. 상향식 패러다임을 따르며, 이 작업을 사람 위치 추정과 자세 추정의 두 단계로 분해한다. 두 단계 모두 거친 것에서부터 정밀한 것으로 진행되는 계층적 접근을 사용한다. 또한 효과적인 메시지 전달을 위해 세 가지 작업 특화 그래프 신경망을 제안한다. 3차원 사람 위치 추정을 위해, 먼저 다중 시점 매칭 그래프 모듈(Multi-view Matching Graph Module, MMG)을 사용하여 다중 시점 간의 관계를 학습하고 거친 인간 후보 영역을 복원한다. 이후 중심 보정 그래프 모듈(Center Refinement Graph Module, CRG)이 유연한 점 기반 예측을 통해 결과를 보다 정밀하게 개선한다. 3차원 자세 추정을 위해, 자세 회귀 그래프 모듈(Pose Regression Graph Module, PRG)은 인간 관절 간의 구조적 관계와 다중 시점 기하학적 정보를 동시에 학습한다. 제안하는 방법은 CMU Panoptic 및 Shelf 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 계산 복잡도가 상당히 낮아진다.