FrankMocap: 회귀와 통합을 통한 빠른 단일 카메라 3D 손 및 신체 운동 추정

사람의 움직임을 전달하는 핵심적인 뉘앙스는 종종 신체 움직임과 손 제스처의 조합으로 표현되지만, 기존의 단일 카메라 움직임 캡처 기법들은 대부분 신체 움직임만을 다루거나 손 움직임만을 고려하며, 상대방의 움직임을 무시하는 경향이 있다. 본 논문에서는 실외 환경에서 촬영된 단일 카메라 입력으로부터 3D 손과 신체 움직임을 동시에 추정할 수 있는 FrankMocap이라는 움직임 캡처 시스템을 제안한다. 이 시스템은 기존 연구 대비 더 빠른 속도(9.5fps)와 더 높은 정확도를 제공한다. 제안하는 방법은 실시간에 가까운 속도(9.5fps)로 동작하며, 3D 신체 및 손 움직임 캡처 결과를 통합된 매개변수 모델 구조로 출력한다. 본 방법은 도전적인 실외 단일 카메라 영상에서 3D 신체 및 손 움직임을 동시에 캡처하는 것을 목표로 한다. FrankMocap을 구축하기 위해, 전신 매개변수 모델(SMPL-X)의 손 부분을 활용하여 최신 기술 수준의 단일 카메라 3D 손 움직임 캡처 기법을 구현하였다. 본 연구에서 얻은 3D 손 움직임 캡처 결과는 단일 카메라 신체 움직임 캡처 결과와 효율적으로 통합되어, 통합된 매개변수 모델 구조로 전신 움직임 결과를 생성할 수 있다. 공개 벤치마크에서 제안한 손 움직임 캡처 시스템의 최고 수준의 성능을 입증하였으며, 다양한 도전적인 실세계 장면(예: 라이브 데모 시나리오 포함)에서 전신 움직임 캡처 결과의 높은 품질을 보여주었다.