ニューラルボディフィッティング：深層学習とモデルベースの人間の姿勢と形状推定の統合

3次元身体姿勢と形状の直接予測は、パラメータ数が多い深層学習モデルであっても依然として課題となっています。2次元画像空間から予測空間へのマッピングは困難であり、視点の曖昧さが損失関数をノイジーにし、訓練データが不足しています。本論文では、新しいアプローチ（ニューラルボディフィッティング (NBF)）を提案します。このアプローチはCNN内に統計的な身体モデルを統合し、信頼性の高い下位層からの意味的身体部位セグメンテーションと堅牢な上位層からの身体モデル制約を活用します。NBFは完全に微分可能であり、2次元および3次元アノテーションを使用して訓練することができます。詳細な実験を通じて、我々のモデルの各成分が性能に与える影響を分析し、特に部分セグメンテーションを明示的な中間表現として使用することの効果について考察します。そして、標準的なベンチマークで競争力のある結果を得られる3次元人間姿勢推定の堅牢かつ効率的に訓練可能なフレームワークを提示します。コードはhttp://github.com/mohomran/neural_body_fitting で公開されます。