2달 전

단안 3D 인간 자세 추정을 위한 생성 및 서열 순위 매기기

Sharma, Saurabh ; Varigonda, Pavan Teja ; Bindal, Prashast ; Sharma, Abhishek ; Jain, Arjun
단안 3D 인간 자세 추정을 위한 생성 및 서열 순위 매기기
초록

단일 카메라 이미지에서의 3D 인간 자세 추정은 차원의 저주와 2D-3D 변환의 불완전한 특성으로 인해 어려운 문제입니다. 본 논문에서는 추정된 2D 자세를 조건으로 하여 다양한 해부학적으로 가능한 3D 자세 샘플을 생성하는 딥 컨디셔널 변분 오토인코더(Deep Conditional Variational Autoencoder, CVAE) 기반 모델을 제안합니다. 우리는 CVAE 기반 3D 자세 샘플 집합이 2D 자세와 일관되며, 2D-3D 변환의 고유한 모호성을 해결하는 데 도움이 됨을 보여줍니다. 최종 3D 자세를 얻기 위한 두 가지 전략을 제안합니다: (a) 깊이 순서/순위 관계를 이용하여 후보 3D 자세들을 점수화하고 가중 평균화하는 방법, 이를 OrdinalScore라고 하며, (b) 오라클(Oracle)의 감독 아래 수행되는 방법입니다. OrdinalScore를 사용하여 두 개의 벤치마크 데이터셋에서 거의 최신 수준의 결과를 보고하며, 오라클을 사용하여는 최신 수준의 결과를 보고합니다. 또한 우리의 파이프라인이 짝을 이루는 이미지-3D 주석 없이도 경쟁력 있는 결과를 제공함을 보여줍니다. 훈련 및 평가 코드는 https://github.com/ssfootball04/generative_pose에서 제공됩니다.

단안 3D 인간 자세 추정을 위한 생성 및 서열 순위 매기기 | 최신 연구 논문 | HyperAI초신경