19 天前

基于学习的梯度下降的人体模型拟合

Jie Song, Xu Chen, Otmar Hilliges
基于学习的梯度下降的人体模型拟合
摘要

我们提出了一种用于将三维人体形状拟合到图像中的新型算法。该算法结合了基于梯度的迭代优化技术在精度与精细化方面的优势,以及深度神经网络在鲁棒性方面的优点,设计了一种梯度下降算法,利用神经网络在每一步迭代中预测参数的更新规则。这种针对每个参数且具备状态感知能力的更新机制,使优化器能够在极少数步骤内快速收敛至高质量解。在训练阶段,本方法仅需通过SMPL参数化的人体姿态动捕(MoCap)数据,网络由此学习到一个有效的姿态与形状子空间,从而在该子空间内进行优化,显著提升了优化效率。该方法无需任何难以获取的图像到三维对应关系。在测试阶段,我们仅需优化二维关键点的重投影误差,无需引入额外的先验信息或正则化项。实验结果表明,该算法具有极高的运行速度(平均120毫秒即可收敛)、对初始化和数据集具有良好的鲁棒性,并在多个公开评估数据集上取得了当前最先进的性能,包括具有挑战性的3DPW野外场景基准(相较于SMPLify提升45%),其表现甚至接近那些依赖图像到三维对应关系的方法。