시야 불변 확률적 임베딩 기법을 이용한 인간 자세 인식

사람의 체형 구성을 나타내는 방법은 시점에 따라 달라질 수 있습니다. 2D 정보만을 사용하여 다양한 시점에서 사람의 자세 유사성을 인식할 수 있는 비전 알고리즘을 개발하고자 합니다. 이 능력은 이미지와 동영상에서 사람의 움직임과 행동을 분석하는 데 유용합니다. 본 논문에서는 3D 자세를 명시적으로 예측하지 않고 2D 관절 키포인트만으로부터 소형화된 시점 불변 임베딩 공간을 학습하는 접근 방안을 제안합니다. 2D 자세는 3D 공간에서 투영되기 때문에 결정론적 매핑을 통해 표현하기 어려운 고유한 모호성이 존재합니다. 따라서, 이 입력 불확실성을 모델링하기 위해 확률적 임베딩을 사용합니다. 실험 결과, 제안된 임베딩 모델이 2D-3D 자세 변환 모델보다 다른 카메라 시점에서 유사한 자세를 검색할 때 더 높은 정확도를 달성함을 보여주었습니다. 또한, 제안된 임베딩을 시점 불변 행동 인식 및 비디오 맞춤에 적용할 때 그 효과성을 입증하였습니다. 우리의 코드는 https://github.com/google-research/google-research/tree/master/poem 에서 확인할 수 있습니다.