与动作无关的人体姿态预测

预测和预报人类动态是一个非常有趣但具有挑战性的任务，在机器人学、医疗保健等领域有着广泛的应用前景。近年来，已经开发出多种用于人体姿态预报的方法；然而，这些方法在其设置中往往引入了若干限制。例如，以往的研究要么仅关注短期预测，要么仅关注长期预测，而牺牲了另一方面的准确性。此外，它们在训练过程中包含了活动标签，并在测试时需要这些标签。这些限制使得姿态预报模型难以应用于实际场景，因为测试情境中通常没有与活动相关的注释。本文提出了一种新的无动作依赖（action-agnostic）方法，用于短期和长期的人体姿态预报。为此，我们设计了一种新的递归神经网络来建模人类动态的层次化和多尺度特征，该网络被称为三角棱柱递归神经网络（TP-RNN）。我们的模型通过以不同的时间尺度编码时间依赖关系，捕捉到了时间人体姿态序列中嵌入的潜在层次结构。为了评估该方法的有效性，我们在Human 3.6M和Penn Action数据集上进行了大量的实验，并从定量和定性两个方面展示了我们的方法优于基线方法和现有最先进方法。代码已发布在https://github.com/eddyhkchiu/pose_forecast_wacv/