HybrIK: 3Dヒューマンポーズと形状推定のためのハイブリッド解析-ニューラル逆運動学ソリューション

モデルベースの3次元姿勢と形状推定手法は、いくつかのパラメータを推定することで人間の体の完全な3次元メッシュを再構築します。しかし、抽象的なパラメータの学習は非常に非線形的なプロセスであり、画像とモデルのずれが生じやすく、これによりモデル性能が中途半端なものとなることがあります。一方、3次元キーポイント推定手法は、深層CNNネットワークと体積表現を組み合わせてピクセルレベルの位置特定精度を達成しますが、現実的でない身体構造を予測する可能性があります。本論文では、上記の問題に対処するために、身体メッシュ推定と3次元キーポイント推定のギャップを埋める方法を提案します。私たちは新しいハイブリッド逆運動学ソリューション（HybrIK）を提案します。HybrIKは、ねじれ-スイング分解を通じて正確な3次元関節を直接相対的な部位回転に変換し、3次元身体メッシュの再構築を行います。スイング回転は3次元関節から解析的に解かれ、ねじれ回転はニューラルネットワークを通じて視覚的ヒントから導き出されます。私たちはHybrIKが3次元姿勢の精度とパラメトリック人間モデルの現実的な身体構造双方を保つことができることを示し、これによりピクセルアライメントされた3次元身体メッシュと純粋な3次元キーポイント推定手法よりもより正確な3次元姿勢を得ることができます。余分な装飾なしで、提案手法は様々な3次元人間姿勢と形状ベンチマークにおいて既存の最先端手法を大幅に上回ります。具体的な例として、HybrIKは3DPWデータセットにおいて全ての従来手法を超える13.2 mm MPJPE（Multi-Person Joint Position Error）と21.9 mm PVE（Point-to-Vertex Error）を達成しています。私たちのコードはhttps://github.com/Jeff-sjtu/HybrIKで公開されています。