HybrIK-X: 全身メッシュ回復のためのハイブリッド解析-ニューラル逆運動学

視覚コンテンツから抽象的な姿勢と形状パラメータを推論して全身メッシュを復元する方法は、現実的な構造を持つ3Dボディを得ることができます。しかし、この推論プロセスは非常に非線形であり、画像とメッシュのずれ（image-mesh misalignment）により、再構築が正確でないことがあります。一方、3Dキーポイント推定手法は体積表現を利用することでピクセルレベルの精度を達成できますが、不自然な身体構造を予測することがあります。これらの問題に対処するために、本論文では3Dキーポイント推定と身体メッシュ復元の長所を統一フレームワークに統合した新しいハイブリッド逆運動学ソリューションであるHybrIKを提案します。HybrIKは、ねじり-振り分解（twist-and-swing decomposition）を通じて正確な3D関節を直接身体部位の回転に変換します。振り回転（swing rotations）は3D関節によって解析的に解かれますが、ねじり回転（twist rotations）はニューラルネットワークを通じて視覚的ヒントから導き出されます。全身の詳細を包括的に捉えるために、さらにarticulated handsとexpressive faceを取り入れた総合的なフレームワークであるHybrIK-Xを開発しました。HybrIK-Xは一貫したモデルで全身姿勢を解くことで高速かつ正確です。実験結果は、HybrIKおよびHybrIK-Xが3D関節の精度とパラメトリック人間モデルの現実的な構造双方を保ち、ピクセルアライメントされた全身メッシュ復元を達成することを示しています。提案手法はbody-only, hand-only, そしてwhole-bodyシナリオにおける様々なベンチマークで既存の最先端手法を大幅に上回っています。コードと結果については以下のURLをご覧ください。https://jeffli.site/HybrIK-X/