2 个月前

保持简单:从单张图像自动估计3D人体姿态和形状

Federica Bogo; Angjoo Kanazawa; Christoph Lassner; Peter Gehler; Javier Romero; Michael J. Black
保持简单:从单张图像自动估计3D人体姿态和形状
摘要

我们描述了一种从单张无约束图像中自动估计人体三维姿态及其三维形状的首个方法。该方法能够预测一个完整的三维网格模型,并展示了仅凭二维关节位置就能携带大量关于身体形状的信息。这一问题具有挑战性,因为人体的复杂性、关节活动、遮挡、着装、光照以及从二维推断三维固有的模糊性都增加了难度。为了解决这些问题,我们首先使用了最近发表的一种基于卷积神经网络(CNN)的方法——DeepCut,来预测(自下而上)二维身体关节的位置。然后,我们将最近发布的一个统计人体形状模型——SMPL,拟合到这些二维关节上(自上而下)。我们通过最小化目标函数来实现这一点,该函数惩罚投影后的三维模型关节与检测到的二维关节之间的误差。由于SMPL捕捉了人群中人体形状的相关性,因此即使数据量很少也能稳健地进行拟合。此外,我们还利用三维模型防止出现相互穿透的情况。我们在Leeds Sports、HumanEva和Human3.6M数据集上评估了我们的方法——SMPLify,结果显示其在姿态准确性方面优于现有技术水平。