从结构和运动中学习三维人体姿态

从单张图像中进行三维人体姿态估计是一个具有挑战性的问题，尤其是在野外环境中，由于缺乏三维标注数据而变得更加困难。我们提出了两种基于解剖学启发的损失函数，并将其应用于弱监督学习框架中，以联合利用大规模的野外二维数据和室内/合成三维数据进行学习。此外，我们还介绍了一个简单的时序网络，该网络利用预测姿态序列中的时间和结构线索来实现姿态估计的时间一致性。我们通过损失表面可视化和敏感性分析仔细评估了所提出的贡献，以便更深入地理解其工作机理。我们的完整流程在Human3.6M和MPI-INF-3DHP数据集上分别将现有技术水平提高了11.8%和12%，并且在普通显卡上可以达到每秒30帧的运行速度。