11 天前

基于图卷积序列块的多尺度残差学习的人体运动预测

Mohsen Zand, Ali Etemad, Michael Greenspan
基于图卷积序列块的多尺度残差学习的人体运动预测
摘要

本文提出了一种新型人体动作预测方法,通过学习时间与空间依赖关系实现更精准的预测。近年来,多尺度图结构被广泛用于在更高抽象层次上建模人体,从而提升了动作预测的稳定性。然而,现有方法通常预先设定尺度层级,并基于人体先验知识将空间上邻近的关节组合以生成更粗粒度的尺度,这忽视了不同动作序列中运动模式的差异性,且无法充分适应固定的空间连接关节图结构。此外,图卷积方法还面临模式坍缩(mode collapse)问题,即预测的姿态趋向于一个均值姿态,缺乏显著运动变化,尤其在长期预测中表现明显。为解决上述挑战,本文提出ResChunk——一种端到端网络架构,该方法基于单个动作序列中所有关节之间的成对关系,动态挖掘相互关联的身体部件。ResChunk采用自回归方式学习目标序列片段之间的残差,以强化连续片段间的时间连贯性。因此,该模型本质上是一种序列到序列的预测网络,能够从多个层次上捕捉序列的动态时空特征。在两个具有挑战性的基准数据集CMU Mocap和Human3.6M上的实验结果表明,所提出的方法能有效建模序列信息,显著提升动作预测性能,并在多项指标上超越现有技术,达到新的最先进水平。相关代码已开源,地址为:https://github.com/MohsenZand/ResChunk。

基于图卷积序列块的多尺度残差学习的人体运动预测 | 最新论文 | HyperAI超神经