2달 전

야생 환경에서의 3D 인간 자세 추정: 약간 감독된 접근 방식

Zhou, Xingyi ; Huang, Qixing ; Sun, Xiao ; Xue, Xiangyang ; Wei, Yichen
야생 환경에서의 3D 인간 자세 추정: 약간 감독된 접근 방식
초록

본 논문에서는 야외 환경에서의 3차원 인간 자세 추정 과제를 연구합니다. 이 과제는 기존 데이터셋이 야외 이미지에 2차원 자세 또는 실험실 이미지에 3차원 자세를 포함하고 있어 훈련 데이터가 부족하기 때문에 어려움을 겪고 있습니다. 우리는 통합된 딥 뉴럴 네트워크에서 혼합된 2차원과 3차원 라벨을 사용하는 약간 지도된 전이 학습 방법을 제안합니다. 이 네트워크는 최신의 2차원 자세 추정 하위 네트워크와 3차원 깊이 회귀 하위 네트워크를 결합합니다. 기존의 두 단계 접근 방식이 두 하위 네트워크를 순차적이고 별도로 훈련시키는 것과 달리, 우리의 훈련은 엔드투엔드(end-to-end) 방식으로 이루어지고, 2차원 자세와 깊이 추정 하위 과제 간의 상관관계를 완전히 활용합니다. 공유된 표현을 통해 딥 특징들이 더 잘 학습됩니다. 이를 통해 제어된 실험실 환경에서의 3차원 자세 라벨이 야외 이미지로 전송됩니다. 또한, 지상 진리 깊이 라벨이 부족한 경우에도 효과적인 3차원 기하학적 제약 조건을 도입하여 3차원 자세 예측을 규제합니다. 우리의 방법은 2차원 및 3차원 벤치마크에서 경쟁력 있는 결과를 달성하였습니다.

야생 환경에서의 3D 인간 자세 추정: 약간 감독된 접근 방식 | 최신 연구 논문 | HyperAI초신경