Command Palette

Search for a command to run...

4ヶ月前

トータルキャプチャ:ビデオとインエールセンサを融合した3次元人体ポーズ推定

{and John Collomosse Matthew Trumble Charles Malleson Adrian Hilton Andrew Gilbert}

トータルキャプチャ:ビデオとインエールセンサを融合した3次元人体ポーズ推定

要約

本研究では、複数視点映像(MVV)と慣性測定装置(IMU)センサデータを融合するアルゴリズムを提示し、3次元人体ポーズを高精度で推定することを目的としている。本手法では、MVVフレームから導出された体積型確率的視認可能ボリューム(PVH)データを用いて、3次元畳み込みニューラルネットワーク(3D CNN)によりポーズ埋め込みを学習する。このモデルを、MVVから得られるポーズ埋め込みとIMUデータの前向き運動学的解法(forward kinematic solve)を統合する二重ストリームネットワークの枠組みに組み込む。両ストリームの融合前に、それぞれに時系列モデル(LSTM)を導入することで、時間的相関性を捉える。この二つの補完的データソースを統合して行うハイブリッドポーズ推定により、各センサモダリティに内在する曖昧性が解消され、従来手法に比べて精度が向上することが示された。本研究のさらなる貢献として、商用モーションキャプチャシステムから導出した骨格関節の真値を含む新しいハイブリッドMVVデータセット「TotalCapture」を構築した。このデータセットは、http://cvssp.org/data/totalcapture/ にて公開されている。

ベンチマーク

ベンチマーク方法論指標
3d-human-pose-estimation-on-human36mPVH-TSP
Average MPJPE (mm): 57.0
3d-human-pose-estimation-on-total-captureIMUPVH
Average MPJPE (mm): 70
3d-human-pose-estimation-on-total-capturePVH
Average MPJPE (mm): 107

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
トータルキャプチャ:ビデオとインエールセンサを融合した3次元人体ポーズ推定 | 論文 | HyperAI超神経