ElePose: 카메라 고도 예측 및 2D 자세에서 정규화 흐름 학습을 통한 비지도 3D 인간 자세 추정

단일 이미지에서 인간 자세 추정은 일반적으로 지도 학습을 통해 해결되는 어려운 문제입니다. 그러나 3D 주석이 전용 모션 캡처 시스템을 필요로 하기 때문에 많은 인간 활동에 대한 라벨링된 훈련 데이터가 아직 존재하지 않습니다. 따라서, 우리는 단일 이미지에서 3D 인간 자세를 예측하는 비지도 접근법을 제안합니다. 이 방법은 2D 자세 데이터만으로 훈련되며, 이러한 데이터는 크라우드 소싱을 통해 얻을 수 있고 이미 널리 사용되고 있습니다. 이를 위해, 우리는 정규화 흐름(normalizing flows)을 사용하여 2D 자세의 가능성을 추정한 후, 임의의 투영 중 가장 가능성 있는 3D 자세를 추정합니다. 기존 연구에서는 훈련 데이터 세트에서 카메라 회전에 대한 강력한 사전 정보(priors)가 필요했지만, 우리는 카메라 각도 분포를 학습하여 성능을 크게 개선하였습니다. 또한, 고차원 3D 자세 데이터에서 정규화 흐름을 안정적으로 훈련시키기 위해 먼저 2D 자세를 선형 부분 공간(linear subspace)으로 투영하는 방법을 제안하였습니다. 결과적으로, 우리는 Human3.6M 및 MPI-INF-3DHP 벤치마크 데이터셋에서 여러 지표로 평가할 때 최신 비지도 인간 자세 추정 방법들을 능가하였습니다.