学习姿态语法以编码人体配置用于三维姿态估计

本文提出了一种姿态语法，以解决3D人体姿态估计问题。我们的模型直接以2D姿态作为输入，并学习一种泛化的2D-3D映射函数。所提出的模型由一个基础网络组成，该网络能够高效地捕捉姿态对齐特征，以及在其顶部构建的一系列双向循环神经网络（Bi-directional RNNs, BRNN），用于显式地融合有关人体配置的知识（即运动学、对称性和运动协调）。因此，所提出的模型在人体姿态上施加了高层次的约束。在训练过程中，我们开发了一种姿态样本模拟器，以在虚拟摄像机视图中增加训练样本的数量，从而进一步提高模型的泛化能力。我们在公开的3D人体姿态基准数据集上验证了我们的方法，并提出了一种新的评估协议，用于跨视角设置下验证不同方法的泛化能力。实验结果表明，大多数现有的最先进方法在这种设置下遇到困难，而我们的方法能够很好地应对这些挑战。