LASOR: 合成データとニューラルメッシュレンダリングを用いた正確な3Dヒューマンポーズと形状の学習

人間の姿勢と形状推定における主要な課題は、自己遮蔽、物体-人間遮蔽、および人間間遮蔽を含む遮蔽です。特に野外での遮蔽シーンにおいて、多様で正確な姿勢と形状の学習データの不足が大きなボトルネックとなっています。本論文では、人間間遮蔽の場合に焦点を当てつつ、物体-人間遮蔽や自己遮蔽も処理する人間の姿勢と形状推定について取り組んでいます。我々は新しいフレームワークを提案し、このフレームワークでは遮蔽対応シルエットと2Dキーポイントデータを合成し、直接SMPL（Skinned Multi-Person Linear）モデルの姿勢と形状パラメータに回帰します。ニューラル3Dメッシュレンダラーを利用することで、シルエット監督をリアルタイムで行うことが可能となり、これにより形状推定に大きな改善がもたらされます。さらに、全方向視点でのキーポイントとシルエット駆動型学習データを合成して、既存のデータセットにおける視点多様性の不足を補完しています。実験結果は、3DPWおよび3DPW-Crowdデータセットにおいて姿勢推定精度に関して最先端の成果に匹敵することを示しており、提案手法は形状推定においてMesh Transformer, 3DCrowdNet, ROMPなどの方法よりも明確に優れています。また、SSP-3Dにおいても形状予測精度に関してトップクラスの性能を達成しています。デモとコードはhttps://igame-lab.github.io/LASOR/ で公開予定です。