다중 인체 3D 자세 추정을 위한 100 FPS 이상의 크로스뷰 트래킹

다수의 인간에 대한 실시간 3차원 자세 추정은 컴퓨터 비전 분야에서 고전적이지만 여전히 도전적인 과제이다. 이 문제의 주요 난제는 여러 카메라 시점에서의 2차원 자세 간의 관계 매칭에 대한 모호성과, 다수의 사람이 다수의 시점에 존재할 경우 발생하는 막대한 상태 공간에 있다. 본 논문에서는 다수의 보정된 카메라 시점에서 다수의 인간 3차원 자세를 추정하기 위한 새로운 해결책을 제안한다. 이 방법은 각각 다른 카메라 좌표계에서의 2차원 자세를 입력으로 받아, 전역 좌표계에서 정확한 3차원 자세를 추정하는 것을 목표로 한다. 기존의 방법들이 프레임별로 모든 시점 쌍 간의 2차원 자세를 다시 처음부터 매칭하는 방식과 달리, 본 논문에서는 영상의 시간적 일관성을 활용하여 2차원 입력을 3차원 자세와 직접 3차원 공간에서 매칭한다. 구체적으로, 각 사람에 대한 3차원 자세를 유지하고, 다중 시점 다수 인물 추적을 통해 반복적으로 업데이트하는 방식을 제안한다. 이 새로운 접근 방식은 공개된 대표적인 데이터셋을 활용한 실험을 통해 정확도와 효율성 모두 향상됨을 입증하였다. 또한, 본 방법의 확장 가능성을 검증하기 위해, 12~28개의 카메라 시점을 포함하는 새로운 대규모 다수 인물 데이터셋을 제안한다. 복잡한 기법 없이도 12대 카메라에서는 154 FPS, 28대 카메라에서는 34 FPS의 성능을 달성하여, 실제 대규모 환경에서도 적용 가능한 능력을 보여준다. 제안된 데이터셋은 https://github.com/longcw/crossview_3d_pose_tracking 에서 공개된다.