Skeleton-Graph：基于深度时空图CNN从2D观测中进行长期3D运动预测

自动驾驶、增强现实和虚拟现实等众多应用均依赖于对三维人体姿态的精确预测。近年来，该领域提出了一项新任务：从观测到的二维人体姿态中预测三维人体姿态。本文提出一种名为Skeleton-Graph的深度时空图卷积神经网络模型，能够仅通过一次前向传播，从二维姿态中预测未来的三维骨骼姿态。与以往方法不同，Skeleton-Graph通过利用骨骼关节之间的空间构型，重点建模关节间的相互作用关系。这一目标通过将问题建模为图结构，并学习合适的图邻接核（graph adjacency kernel）来实现。得益于该设计，Skeleton-Graph在长期预测中能够有效避免姿态漂移问题，而此前的方法普遍存在此类问题。此外，本文还引入了一种新的度量指标，用于评估长期预测中姿态预测结果的发散程度。实验结果表明，在GTA-IM和PROX两个数据集上，与现有方法相比，我们的方法在最终位移误差（FDE）上分别提升了至少27%，在平均位移误差（ADE）上分别降低了4%。同时，在长期运动预测方面，Skeleton-Graph在GTA-IM和PROX数据集上的预测发散程度分别比现有方法减少了88%和93%。代码已开源，地址为：https://github.com/abduallahmohamed/Skeleton-Graph.git。