ウェアラブルIMUとマルチビューアイメージを融合した人間の姿勢推定：幾何学的アプローチ

私たちは、複数の視点からの画像と人の四肢に取り付けられた少数のIMU（慣性測定装置）を使用して3次元の人間の姿勢を推定する方法を提案します。この方法は、まず2つの信号から2次元の姿勢を検出し、その後それらを3次元空間に昇華させることで動作します。IMUに基づいて各関節ペアの視覚的な特徴を強化する幾何学的な手法を提示します。これは特に1つの関節が隠れている場合に、2次元姿勢推定の精度を大幅に向上させます。この手法を方向正則化ネットワーク（Orientation Regularized Network: ORN）と呼びます。次に、多視点2次元姿勢を3次元空間に昇華させるために、方向正則化ピクトリアル構造モデル（Orientation Regularized Pictorial Structure Model: ORPSM）を使用します。このモデルは、3次元と2次元の姿勢間の投影誤差と、3次元姿勢とIMU方向との乖離を同時に最小化します。単純な2段階アプローチにより、公開データセット上で最先端技術よりも大幅な誤差削減が達成されました。私たちのコードは以下のURLで公開されます：https://github.com/CHUNYUWANG/imu-human-pose-pytorch。