1ヶ月前

序数深度監督による3次元人間姿勢推定

Georgios Pavlakos; Xiaowei Zhou; Kostas Daniilidis
序数深度監督による3次元人間姿勢推定
要約

単一画像からの3次元人間姿勢推定のためのエンドツーエンドシステムの学習能力は、現在、自然画像に対する3次元アノテーションの限られた可用性によって制約されています。ほとんどのデータセットはスタジオ環境でモーションキャプチャ(MoCap)システムを使用して取得されており、MPIIやLSPのような2次元人間姿勢データセットの多様性に達することが困難です。正確な3次元基準真値への依存を軽減するために、我々は人間関節の順序深度によって提供される弱い監督信号を使用することを提案します。この情報は、幅広い画像と姿勢に対して人間アノテーターが取得することができます。異なる設定において、これらの順序関係を使用して畳み込みニューラルネットワーク(ConvNets)を学習する効果と柔軟性を示すために、実験を行いました。常に、正確な3次元関節座標で学習したConvNetsと競合する性能を達成しています。さらに、この手法の潜在的な有用性を示すために、一般的なLSPおよびMPIIデータセットに順序深度アノテーションを追加しました。この拡張により、スタジオ外条件での定量的および定性的評価を提示することが可能になりました。同時に、これらの順序アノテーションは典型的なConvNetsの3次元人間姿勢推定の学習手続きに簡単に組み込むことができます。この組み込みにより、関連するベンチマークにおける新しい最先端性能を達成し、順序深度監督が3次元人間姿勢推定に有効であることを検証しました。