3 个月前

记住重要的内容:一种用于人体运动预测的解耦多头检索与辅助记忆稳定化方案

Tharindu Fernando, Harshala Gammulle, Sridha Sridharan, Simon Denman, Clinton Fookes
记住重要的内容:一种用于人体运动预测的解耦多头检索与辅助记忆稳定化方案
摘要

人类在执行不同任务、进行各类交互时,其运动模式表现出高度复杂性,且受到个体差异偏好等因素的影响。因此,基于历史运动序列预测未来姿态是一项极具挑战性的任务。本文提出了一种创新的、基于辅助记忆机制的深度神经网络框架,以提升对历史知识的建模能力。具体而言,我们从观测到的姿态序列中解耦出个体特异性、任务特异性以及其他辅助信息,并利用这些解耦后的特征向量对记忆模块进行查询。我们设计了一种新型的多头知识检索机制,通过这些解耦特征嵌入,在辅助记忆中对历史观测数据执行多轮查询操作。此外,本文提出的动态掩码策略使特征解耦过程具备动态适应能力。为促进辅助记忆内部的多样性并保障记忆内容的稳定性,我们引入了两种新型损失函数,从而确保记忆模块能够有效识别并存储对长期运动预测具有关键作用的显著信息,即使在数据分布不均衡或输入数据多样性较高的情况下仍保持鲁棒性。在两个公开基准数据集——Human3.6M与CMU-Mocap上开展的大量实验表明,上述设计选择共同作用,使所提方法在性能上显著超越当前最先进方法:在Human3.6M数据集上提升超过17%,在CMU-Mocap数据集上提升超过9%。

记住重要的内容:一种用于人体运动预测的解耦多头检索与辅助记忆稳定化方案 | 论文 | HyperAI超神经