辅助任务有助于基于3D骨骼的人体运动预测

从观测到的运动中探索时空依赖关系是人体运动预测的核心挑战之一。以往的方法主要聚焦于设计专用的网络结构以建模空间与时间依赖性。本文提出一种新方向，引入基于辅助任务的模型学习框架。在所设计的辅助任务中，人体部分关节点的坐标通过掩码或添加噪声的方式被破坏，目标是根据其余关节点的坐标恢复被破坏的坐标。为有效配合此类辅助任务，我们提出一种新型的辅助适应型Transformer（Auxiliary-adapted Transformer），该模型能够处理不完整、被破坏的运动数据，并通过捕捉时空依赖关系实现坐标恢复。借助辅助任务的训练，该模型能够学习到更全面的关节点坐标之间的时空依赖关系，从而提升特征表示能力。大量实验结果表明，本方法在Human3.6M、CMU Mocap和3DPW数据集上的3D每关节点平均位置误差（MPJPE）分别优于当前最先进方法7.2%、3.7%和9.4%。此外，我们还验证了所提方法在数据缺失和噪声干扰等复杂场景下具有更强的鲁棒性。代码已开源，地址为：https://github.com/MediaBrain-SJTU/AuxFormer。