HyperAIHyperAI

Command Palette

Search for a command to run...

時系列情報を活用した3D人体ポーズ推定

James J. Little Mir Rayat Imtiaz Hossain

概要

本研究では、2次元人体ポーズの時系列から3次元人体ポーズを推定する問題に取り組む。近年の深層ネットワークの進展により、多くの最先端の3次元ポーズ推定手法が、画像から直接3次元ポーズを予測するため、深層ネットワークをエンドツーエンドで学習するアプローチを採用している。しかし、性能が最も優れた手法は、3次元ポーズ推定を2段階に分けるアプローチの有効性を示している。すなわち、最先端の2次元ポーズ推定器を用いて画像から2次元ポーズを推定し、その後、その2次元ポーズを3次元空間にマッピングするという手法である。また、特定の関節群の2次元位置という低次元表現でも、3次元ポーズを高精度で推定可能であることが示された。しかし、各フレームごとに独立して誤差が生じるため、個々のフレームに対する3次元ポーズ推定は時間的に一貫性のない結果をもたらす。本研究では、この問題を解決するため、2次元関節位置の時系列情報を利用して、連続する3次元ポーズを推定するアプローチを採用した。我々は、レイヤーノーマライゼーションを施したLSTMユニットを用いたシーケンス・トゥ・シーケンスネットワークを設計し、デコーダ側において入力を出力に直接接続するショートカット接続を導入するとともに、学習中に時間的滑らかさを制約する正則化を課した。実験の結果、時間的一貫性に関する知識の導入により、Human3.6Mデータセットにおける既存の最高性能結果に対して約12.2%の向上が達成された。さらに、2次元ポーズ検出器が失敗した場合でも、本ネットワークは時間的に一貫性のある3次元ポーズの推定を可能にした。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
時系列情報を活用した3D人体ポーズ推定 | 記事 | HyperAI超神経