要約
単眼画像または2D関節から3D人間姿勢を推定することは、深度の曖昧さと被遮断された関節のため、不適切に定義された問題です。私たちは、単眼入力からの3D人間姿勢推定が一意の解を持つ逆問題ではなく、複数の可能な解が存在する逆問題であると主張します。本論文では、2D関節から複数の可能な3D姿勢仮説を生成する新しい手法を提案します。既存の深層学習アプローチは、単峰ガウス分布に基づく平均二乗誤差を最小化することに焦点を当てていますが、私たちの方法は多峰混合密度ネットワークに基づいて複数の可能な3D姿勢仮説を生成することができます。実験結果は、2D関節入力から推定した3D姿勢が2D再投影において一貫性を持っていることを示しており、これは2Dから3Dへの逆問題に対して複数の解が存在するとする私たちの主張を支持しています。さらに、Human3.6Mデータセットにおいて最良の仮説と多視点設定で最先端の性能を示し、MPIIおよびMPI-INF-3DHPデータセットでのテストを通じてモデルの汎化能力も証明しました。当該コードはプロジェクトウェブサイトで公開されています。