깊이 단일 카메라를 이용한 캐스케이드 차원 상승을 통한 3D 인간 자세 추정

단일 이미지에서의 3D 자세 추정은 깊이의 모호성 때문에 어려운 문제입니다. 이전 방법 중 하나는 외부 2D 자세 검출기를 통해 얻은 2D 관절을 3D 공간으로 변환하는 방식입니다. 그러나 이러한 접근법은 3D 자세 추정에 강력한 힌트가 되는 이미지의 문맥 정보를 버리게 됩니다. 한편, 다른 일부 방법은 단일 시점 이미지에서 관절을 직접 예측하지만, $P^{2.5D} = (u,v,z^{r})$와 같은 2.5D 출력 표현을 채택합니다. 여기서 $u$와 $v$는 이미지 공간에 있지만, $z^{r}$는 루트 상대 3D 공간에 있습니다. 따라서 카메라로부터 루트 관절의 깊이 등의 지면 진실 정보를 일반적으로 사용하여 2.5D 출력을 3D 공간으로 변환하는데, 이는 실제 적용 범위를 제한합니다.본 연구에서는 문맥 정보를 활용하면서도 출력을 직접 3D 공간으로 생성하는 새로운 엔드투엔드 프레임워크를 제안합니다. 구체적으로, 2D 이미지 공간에서의 자세를 3D 공간으로 변환하는 작업을 여러 순차적인 하위 작업으로 분해하였습니다: 1) 2D 공간에서의 운동학적 골격 및 개별 관절 추정, 2) 루트 상대 깊이 추정, 그리고 3) 3D 공간으로의 변환입니다. 각 하위 작업은 직접적인 감독과 문맥적 이미지 특성을 활용하여 학습 과정을 안내합니다.다양한 실험 결과는 제안된 프레임워크가 두 가지 널리 사용되는 3D 인간 자세 데이터셋(Human3.6M, MuPoTS-3D)에서 최고 수준의 성능을 달성함을 보여줍니다.