17일 전

FusePose: 운동학 공간에서의 IMU-비전 센서 융합을 통한 파라메트릭 인간 자세 추정

Yiming Bao, Xu Zhao, Dahong Qian
FusePose: 운동학 공간에서의 IMU-비전 센서 융합을 통한 파라메트릭 인간 자세 추정
초록

3D 인간 자세 추정 작업에는 가림막 및 자기 가림막으로 인한 성능 저하와 같은 도전적인 문제들이 존재한다. 최근에는 IMU-비전 센서 융합 기술이 이러한 문제를 해결하는 데 있어 중요한 가치를 지닌다고 평가되고 있다. 그러나 기존의 IMU와 비전 데이터(이질적인 데이터) 융합 연구들은 IMU의 원시 데이터나 신뢰할 수 있는 고수준의 비전 특징을 충분히 활용하지 못하는 한계를 지닌다. 더 효율적인 센서 융합을 촉진하기 위해, 본 연구에서는 파라메트릭 인간 운동학 모델 기반의 프레임워크인 \emph{FusePose}를 제안한다. 구체적으로, IMU 또는 비전 데이터의 다양한 정보를 통합하고, 세 가지 독특한 센서 융합 방식인 NaiveFuse, KineFuse, AdaDeepFuse를 제안한다. NaiveFuse는 유사한 IMU 데이터와 유클리드 공간에서 추정된 3D 자세만을 단순히 융합하는 기초적 접근 방식이다. 반면, 운동학적 공간에서는 KineFuse가 보정 및 정렬된 IMU 원시 데이터와 변환된 3D 자세 파라미터를 효과적으로 통합할 수 있다. AdaDeepFuse는 이러한 운동학적 융합 과정을 적응형이며 엔드투엔드 학습 가능한 방식으로 발전시켰다. 체계적인 실험과 제거 실험(ablation study)을 통해 제안된 프레임워크의 타당성과 우수성을 입증하였다. 기준 모델 대비 3D 인간 자세 추정 성능이 향상되었으며, Total Capture 데이터셋에서 KineFuse는 이전의 최고 성능 모델(테스트 시에 IMU만 사용)을 8.6% 상회하였다. 또한 AdaDeepFuse는 훈련 및 테스트 모두에서 IMU를 사용하는 기존 최고 성능 모델을 8.5% 초과하는 성능을 달성하였다. 더불어, Human3.6M 데이터셋에서의 실험을 통해 본 프레임워크의 일반화 능력도 검증하였다.