
최근 몇 년 동안 단일 카메라를 이용한 마커 없는 인간 운동 추적에 상당한 진전이 이루어졌지만, 최신 방법들조차도 가림 현상 시나리오에서 만족스러운 결과를 얻는 것이 여전히 어렵습니다. 이는 두 가지 주요 이유로 인해 발생합니다. 첫째, 가려진 부분의 운동 추적은 본질적으로 모호성이 높아 다양한 3D 자세가 동일한 2D 관측값으로 매핑될 수 있으며, 이로 인해 신뢰할 수 없는 추정이 이루어집니다. 둘째, 충분한 가림 현상 데이터가 없어 강건한 모델을 훈련시키기 어렵습니다. 이러한 장애물을 해결하기 위해, 우리의 핵심 아이디어는 비감독 전략을 사용하여 가림 현상이 없는 인간 데이터를 활용하여 가림 현상이 있는 인간의 관절 수준 공간-시간 운동 사전 지식을 학습하는 것입니다. 합성 데이터와 실제 가림 현상 데이터 간의 차이를 더욱 줄이기 위해, 우리는 처음으로 3D 가림 운동 데이터셋(OcMotion)을 구축하였으며, 이를 훈련과 테스트 모두에 사용할 수 있습니다. 우리는 2D 맵에서 운동을 인코딩하고, 비감독 훈련을 위해 가림 현상이 없는 데이터에 가림 현상을 합성합니다. 그런 다음 관절 수준의 상관관계를 학습하기 위한 공간-시간 계층을 설계하였습니다. 학습된 사전 지식은 가림 현상의 모호성을 줄이고 다양한 유형의 가림 현상에 강건하며, 이를 통해 가림 현상이 있는 인간 운동 추적을 지원합니다. 실험 결과, 우리 방법은 좋은 일반화 능력과 실행 효율성을 바탕으로 가림 영상에서 정확하고 일관된 인간 운동을 생성할 수 있음을 보여주었습니다. 데이터셋과 코드는 \url{https://github.com/boycehbz/CHOMP}에서 공개적으로 이용 가능합니다.