構造と運動から3D人間ポーズを学習する

単一画像からの3次元人間姿勢推定は、特に3次元アノテーションデータの不足する野生環境において困難な問題です。本研究では、解剖学的に着想を得た2つの損失関数を提案し、それらを弱教師あり学習フレームワークと組み合わせて、大規模な野生環境の2Dデータと屋内/合成の3Dデータから共同で学習することを目的としています。また、予測された姿勢シーケンスに存在する時間的および構造的な手がかりを利用し、時間的に姿勢推定を調和させる単純な時系列ネットワークも提示します。我々は損失面の可視化と感度分析を通じて提案した貢献を慎重に分析し、その動作メカニズムに対するより深い理解を促進します。当社の完全なパイプラインは、Human3.6MとMPI-INF-3DHPにおいてそれぞれ11.8%と12%の性能向上を達成し、一般的なグラフィックスカードで30 FPSで動作します。