Command Palette
Search for a command to run...
一种注意力增强的图卷积LSTM网络用于基于骨架的动作识别
一种注意力增强的图卷积LSTM网络用于基于骨架的动作识别
Chenyang Si; Wentao Chen; Wei Wang; Liang Wang; Tieniu Tan
摘要
基于骨架的动作识别是一项重要的任务,需要从给定的骨架序列中充分理解人体动作的运动特征。近期的研究表明,探索骨架序列的空间和时间特征对于这一任务至关重要。然而,如何有效提取具有区分性的空间和时间特征仍然是一个具有挑战性的问题。在本文中,我们提出了一种新颖的注意力增强图卷积LSTM网络(AGC-LSTM),用于从骨架数据中进行人体动作识别。所提出的AGC-LSTM不仅能够捕捉空间配置和时间动态中的区分性特征,还能探索空间域和时间域之间的共现关系。此外,我们还提出了一种时间层次结构,以增加顶层AGC-LSTM层的时间感受野,从而提升学习高层次语义表示的能力,并显著降低计算成本。为了选择具有区分性的空间信息,我们在每个AGC-LSTM层中采用了注意力机制来增强关键关节的信息。我们在两个数据集上提供了实验结果:NTU RGB+D数据集和Northwestern-UCLA数据集。对比结果显示了我们方法的有效性,并表明我们的方法在这两个数据集上的表现均优于现有最先进的方法。