Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based Motion Refinement

본 연구에서는 단일 어안렌즈 카메라를 사용하여 자기중심적 전신 운동을 캡처하는 방법을 탐구하며, 이는 동시에 인간의 몸과 손의 움직임을 추정합니다. 이 작업은 세 가지 요인으로 인해 상당한 도전과제를 제시합니다: 고품질 데이터셋의 부족, 어안렌즈 카메라 왜곡, 그리고 인간 몸체의 자가 가림 현상입니다. 이러한 도전과제를 해결하기 위해, 우리는 FisheyeViT를 활용하여 어안렌즈 이미지 특성을 추출하고, 이를 3D 인간 포즈 예측을 위한 픽셀 정렬 3D 히트맵 표현으로 변환하는 새로운 접근 방식을 제안합니다. 손 추적을 위해서는 별도의 손 검출 및 손 포즈 추정 네트워크를 통합하여 3D 손 포즈를 회귀합니다. 마지막으로, 우리는 관절 불확실성을 고려하면서 추정된 전신 운동을 개선하기 위한 확산 기반 전신 운동 사전 모델을 개발하였습니다. 이러한 네트워크들을 훈련시키기 위해, 우리는 다양한 전신 운동 시퀀스에서 촬영된 840,000장의 고품질 자기중심적 이미지를 포함하는 대규모 합성 데이터셋 EgoWholeBody를 수집하였습니다. 정량적 및 정성적 평가는 우리의 방법이 단일 자기중심적 카메라로부터 고품질의 전신 운동 추정치를 생성하는 데 효과적임을 입증하였습니다.