단일 이미지에서의 다중 인물 3D 인간 자세 추정

단일 이미지에서 다수의 3차원 인간 자세 추정은 특히 실제 환경(인-더-와일드, in-the-wild)에서 3차원 레이블 데이터의 부족으로 인해 도전적인 문제이다. 본 연구에서는 마스크-RCNN 기반의 네트워크인 HG-RCNN을 제안하며, 이는 아워그lass 아키텍처의 장점을 활용하여 다수 인물의 3차원 인간 자세 추정을 수행한다. 제안된 방법은 두 단계적 접근을 사용한다. 첫 번째 단계에서는 관심 영역(RoI, Region of Interest) 내에서 2차원 키포인트를 추정하고, 두 번째 단계에서는 추정된 키포인트를 3차원으로 변환한다. 마지막으로, 약한 투영(weak-perspective) 가정을 기반으로 카메라 좌표계에서 추정된 3차원 자세를 배치하고, 초점 거리와 루트 이동량을 함께 최적화하여 정밀도를 향상시킨다. 결과적으로, 다수 인물의 3차원 인간 자세 추정을 위한 간단하고 모듈화된 네트워크를 제안하며, 별도의 다수 인물 3차원 자세 데이터셋이 필요하지 않다. 간단한 구조임에도 불구하고, HG-RCNN은 MuPoTS-3D 데이터셋에서 최신 기술 수준(SOTA, State-of-the-Art)의 성능을 달성하면서 카메라 좌표계 기반의 3차원 자세를 효과적으로 추정할 수 있다.