自己監督型多視点幾何学を用いた3次元人間姿勢推定

私たちは、複数視点カメラシステムと各視点の2D身体姿勢推定を基にした単一人物の3D人体姿勢推定の自己監督学習アルゴリズムを提案します。当該モデルは深層ニューラルネットワークで表現され、その訓練には2Dまたは3D身体姿勢の真値を必要としない4つの損失関数を使用する学習アルゴリズムを提案しています。提案された損失関数は、複数視点幾何学を利用して3D身体姿勢推定を再構築し、カメラ視点間的身体姿勢制約を課します。私たちの手法では、訓練時に利用可能なすべてのカメラ視点を使用しますが、推論時には単一視点となります。評価においては、Human3.6MおよびHumanEvaベンチマークでの有望な性能を示すとともに、MPI-INF-3DHPデータセットにおける汎化能力研究やいくつかの削減実験結果も提示しています。全体的に見れば、全ての自己監督学習方法を上回り、教師あり学習や弱教師あり学習アプローチと同等の結果を得ています。当該コードおよびモデルは公開されています。