하이브리드캡: 관성 보조 단일 카메라를 이용한 도전적인 인간 동작 캡처

단일 카메라 기반 3D 모션 캡처(mocap)는 다양한 응용 분야에 유리하지만, 단일 카메라의 한계로 인해 신체 부위 간의 가림 현상(오클루전)을 효과적으로 처리하지 못해 비교적 단순한 움직임에 한정되어 있다. 본 연구에서는 학습 및 최적화 프레임워크 내에서 카메라에 단지 4개의 관성 측정 단위(IMU)만 추가하여 가볍고 효율적인 하이브리드 모션 캡처 기법인 HybridCap을 제안한다. 먼저, 협업형 게이트형 순환 단위(Gated Recurrent Unit, GRU) 블록을 기반으로 한 약한 지도 학습 및 계층적 운동 추론 모듈을 도입하여, 각 사지, 신체 전체, 루트(기준) 위치를 추적하는 역할과 역운동학(ik) 해소 기능을 수행한다. 제안한 네트워크는 거친 추정에서 세밀한 추정으로 나아가는 포즈 추정 방식을 통해 타당한 운동의 탐색 공간을 효과적으로 좁혀, 높은 효율로 도전적인 움직임을 처리할 수 있다. 또한, 관성 피드백과 시각적 신호를 결합한 하이브리드 최적화 기법을 개발하여 추적 정확도를 더욱 향상시켰다. 다양한 데이터셋에서 실시한 광범위한 실험을 통해 HybridCap이 피트니스 동작부터 라틴 댄스에 이르기까지 다양한 도전적인 움직임을 안정적으로 처리함을 입증하였으며, 최첨단 정확도를 유지하면서 최대 60 fps의 실시간 성능을 달성하였다.