基于骨架的人体动作识别与全局上下文感知注意力LSTM网络

基于3D骨架序列的人体动作识别已经吸引了大量的研究关注。近期，长短期记忆（LSTM）网络在这一任务中表现出色，这主要归功于其在建模序列数据中的依赖关系和动态变化方面的优势。然而，并非所有骨骼关节都对动作识别具有信息价值，无关的关节往往会引入噪声，从而降低性能。因此，我们需要更加关注那些具有信息价值的关节。然而，原始的LSTM网络并不具备显式的注意力机制。在本文中，我们提出了一种新的LSTM网络——全局上下文感知注意力LSTM（GCA-LSTM），用于基于骨架的动作识别。该网络通过使用全局上下文记忆单元，能够在每个骨架序列的每一帧中选择性地聚焦于具有信息价值的关节。为了进一步提升网络的注意力能力，我们还引入了一种递归注意力机制，该机制可以逐步增强网络的注意力表现。此外，我们提出了一种逐步训练方案，以有效地训练我们的网络。我们的方法在五个具有挑战性的基准数据集上实现了当前最佳的性能。