複数視点を用いたマーカーレス3D人間姿勢アノテーションの収集

最近の畳み込みニューラルネットワーク（ConvNets）の進歩により、多くのコンピュータビジョンタスクにおけるボトルネックは注釈付きデータの収集に移行しています。本論文では、人間の姿勢予測タスク向けに注釈を自動的に収集する幾何学駆動型アプローチを提案します。2D人間の姿勢用の汎用ConvNetから始め、複数視点設定を前提として、正確な3D人間の姿勢注釈を自動的に収集する方法を説明します。カメラ設定と人間の体の3D構造によって提供される制約を利用し、各視点からの2D ConvNet予測結果を確率的に組み合わせて全体最適な3D姿勢を得ます。この3D姿勢が注釈収集の基盤となります。我々のアプローチで自動的に生成された注釈の利点は、以下の2つの困難な設定で示されます：(i) 汎用的なConvNetベースの2D姿勢予測器を微調整して被験者の外見（「パーソナライゼーション」）を区別する側面を捉えること、および (ii) 3D姿勢の真値データを使用せずに単一視点での3D人間姿勢予測用にConvNetを一から訓練することです。提案された多視点ポーズ推定器は標準的なベンチマークで最先端の結果を達成しており、利用可能な多視点情報を活用する手法の有効性を示しています。