SMAP: 단일 샷 다중 인물 절대 3D 자세 추정

단일 RGB 이미지에서 절대적인 크기와 함께 여러 사람의 3D 자세를 복원하는 것은 단일 뷰에서 고유한 깊이와 크기의 모호성 때문에 어려운 문제입니다. 이러한 모호성을 해결하기 위해서는 전체 이미지에 걸쳐 신체 크기, 장면 배치, 그리고 사람 간 관계 등의 다양한 힌트를 종합해야 합니다. 그러나 대부분의 이전 방법들은 먼저 2D 자세 검출을 수행하고, 그 다음 각각 검출된 사람의 3D 자세와 크기를 개별적으로 회귀시키는 상향식(top-down) 방식을 채택하여 전역적 맥락 힌트를 무시합니다. 본 논문에서는 먼저 신체 부위의 2.5D 표현을 회귀시키고, 그런 다음 이 2.5D 표현들을 기반으로 깊이 인식 파트 연관 알고리즘을 사용하여 3D 절대 자세를 재구성하는 새로운 시스템을 제안합니다. 이러한 일괄 처리 하향식(bottom-up) 방식은 시스템이 사람 간 깊이 관계에 대해 더 잘 학습하고 추론할 수 있게 하여 3D 및 2D 자세 추정 모두를 개선합니다. 실험 결과, 제안된 접근법은 CMU 파노프틱(CMU Panoptic)과 MuPoTS-3D 데이터셋에서 최신 성능을 달성하였으며 야외 비디오에도 적용 가능함을 보여주었습니다.