웨어러블 IMU와 다중 시점 이미지를 융합한 인간 자세 추정: 기하학적 접근법

다중 시점 이미지와 사람의 지체에 부착된 몇 개의 IMU(Inertial Measurement Unit)를 사용하여 3차원 인간 자세를 추정하는 방법을 제안합니다. 이 방법은 먼저 두 신호에서 2차원 자세를 감지한 후 이를 3차원 공간으로 끌어올리는 과정을 거칩니다. 우리는 IMU를 기반으로 각 관절 쌍의 시각적 특성을 강화하는 기하학적 접근 방식을 제시합니다. 이는 특히 한 관절이 가려진 경우 2차원 자세 추정 정확도를 크게 향상시키는 효과가 있습니다. 우리는 이 접근 방식을 방향 규제 네트워크(Orientation Regularized Network, ORN)라고 명명합니다. 그 다음, 다중 시점 2차원 자세들을 방향 규제 그림 구조 모델(Orientation Regularized Pictorial Structure Model, ORPSM)을 통해 3차원 공간으로 끌어올리는데, 이 모델은 3차원과 2차원 자세 간의 투영 오류와 3차원 자세와 IMU 방향 간의 차이를 동시에 최소화합니다. 이 단순한 두 단계 접근법은 공개 데이터셋에서 기존 최신 기술보다 큰 폭으로 오류를 줄입니다. 우리의 코드는 https://github.com/CHUNYUWANG/imu-human-pose-pytorch 에서 제공될 예정입니다.