TriPose: 動画からの三角測量を用いた弱教師あり3D人間姿勢推定

ビデオから3次元の人間の姿勢を推定することは困難な問題です。3次元の人間の姿勢アノテーションの不足は、教師あり学習と未知のデータセットへの汎化にとって大きな障壁となっています。本研究では、この問題に対処するために、3次元アノテーションやキャリブレーションされたカメラを必要としない弱教師あり学習スキームを提案します。提案手法は時間情報と三角測量に依存しています。複数視点からの2次元姿勢を入力として使用し、まず相対的なカメラの向きを推定し、その後三角測量によって3次元姿勢を生成します。三角測量は、2次元人間関節信頼度が高い視点のみに適用されます。生成された3次元姿勢は、2次元姿勢から3次元姿勢を推定する再帰的リフティングネットワーク（RLN）の学習に使用されます。さらに、推定された3次元姿勢に対して多視点再投影損失を適用し、多視点から推定された3次元姿勢の一貫性を確保します。したがって、当方法は実践的な制約を緩和し、学習には多視点ビデオのみが必要となり、野生環境での設定でも便利です。推論時にはRLNが単一視点ビデオのみを必要とします。提案手法は2つの難易度の高いデータセットであるHuman3.6MとMPI-INF-3DHPで先行研究よりも優れた性能を示しました。コードおよび事前学習済みモデルは公開される予定です。