Mo2Cap2: 캡 장착형 피시아이 카메라를 이용한 실시간 모바일 3D 운동 추적

우리는 다양한 제약이 없는 일상 활동에서 1인칭 시점으로 3차원 인간 신체 자세를 실시간으로 추정하는 첫 번째 접근 방식을 제안합니다. 이 환경은 하드웨어 설정의 이동성과 장시간 캡처 세션에 대한 견고성, 추적 실패에서 빠른 복구 등 독특한 도전 과제들을 가지고 있습니다. 우리는 이러한 도전 과제들을 단일 모자 장착형 피셔아이 카메라를 사용하여 표준 야구모자를 고품질 자세 추정 장치로 변환하는 새로운 경량화 설정을 기반으로 해결하였습니다. 캡처된 1인칭 실시간 스트림에서 우리의 CNN 기반 3D 자세 추정 접근 방식은 소비자 수준의 GPU에서 60Hz로 실행됩니다. 새로운 하드웨어 설정 외에도, 우리의 주요 기여는 다음과 같습니다: 1) 상향식 피셔아이 이미지의 대규모 지상 진리 훈련 코퍼스와 2) 1인칭 시점의 독특한 특성을 고려한 새로운 분리된 3D 자세 추정 접근 방식입니다. 우리의 평가 결과에 따르면, 기존 베이스라인보다 더 낮은 3D 관절 오류와 더 나은 2D 오버레이를 달성하였습니다.