초록
최근 몇 년 동안 단일 카메라(RGB 이미지)를 이용한 3차원 인간 자세 추정은 많은 주목을 받고 있습니다. 그러나 최근의 모델들은 대상 영역에 대한 3차원 자세 정답 데이터 또는 알려진 자세 사전 정보에 의존하여 지도 학습을 수행합니다. 3차원 자세 데이터는 일반적으로 모션 캡처 장치를 사용하여 수집되므로, 이로 인해 그 적용 범위가 크게 제한됩니다. 본 논문에서는 정답 3차원 자세 데이터가 없는 경우에도 3차원 자세를 추정할 수 있는 휴리스틱한 약간의 지도를 받는 3차원 인간 자세(HW-HuP) 솔루션을 제시합니다. HW-HuP는 3차원 인간 자세 데이터셋에서 부분적인 자세 사전 정보를 학습하고, 대상 영역에서 쉽게 접근할 수 있는 관찰 결과를 최적화 및 회귀 사이클을 통해 3차원 인간 자세와 형태를 추정합니다. 학습 과정에서는 깊이 데이터를 약간의 지도로 활용하지만, 추론 과정에서는 이를 사용하지 않습니다. 우리는 HW-HuP가 두 가지 실제 상황에서 기존 최신 모델들보다 의미 있게 개선된다는 것을 보여주는데, 이 두 상황은 3차원 자세 데이터를 얻기 어려운 병상에서의 인간 자세와 자연 환경에서의 유아자세입니다. 또한, HW-HuP가 공개 벤치마크에서 이러한 모델들이 3차원 자세 데이터로 학습하더라도 유사한 성능을 유지함을 입증하였습니다.