表达性身体捕捉：从单张图像中提取3D手部、面部和身体

为了便于分析人类的行为、互动和情感，我们从单目图像中计算出人体姿态、手部姿态和面部表情的三维模型。为此，我们使用数千个三维扫描数据训练了一个新的统一的人体三维模型——SMPL-X，该模型在SMPL的基础上扩展了完全可动的手部和富有表现力的面部。直接从图像回归SMPL-X参数在没有配对图像和三维真实数据的情况下具有挑战性。因此，我们采用了类似于SMPLify的方法，该方法首先估计二维特征，然后优化模型参数以适应这些特征。我们在几个重要方面改进了SMPLify：（1）检测与面部、手部和脚部对应的二维特征，并将完整的SMPL-X模型拟合到这些特征上；（2）使用大规模动作捕捉数据集训练一个新的神经网络姿态先验；（3）定义了一种新的快速且准确的互穿惩罚项；（4）自动检测性别并选择适当的身体模型（男性、女性或中性）；（5）我们的PyTorch实现比Chumpy快8倍以上。我们使用新方法SMPLify-X将SMPL-X拟合到受控图像和自然环境中的图像上。我们在一个包含100张带有伪真实标签的新整理数据集上评估了三维精度。这是朝着从单目RGB数据自动捕捉富有表现力的人类行为迈出的一步。相关模型、代码和数据已发布在 https://smpl-x.is.tue.mpg.de 供研究使用。