基于骨架的动作识别的图对比学习

在基于骨骼的动作识别领域，当前表现最优的图卷积网络（GCNs）通过利用序列内上下文来构建自适应图以实现特征聚合。然而，我们认为这种上下文仍然是局部的，因为跨序列的丰富关系尚未得到显式建模与探索。为此，本文提出一种基于图对比学习的骨骼动作识别框架（SkeletonGCL），旨在挖掘所有序列之间的全局上下文信息。具体而言，SkeletonGCL通过强制图结构具备类别可区分性——即类内紧凑、类间分散——来实现序列间图学习的关联，从而提升GCN对不同动作模式的区分能力。此外，本文设计了两个记忆库，从两个互补的层次——实例层面与语义层面——丰富跨序列上下文信息，支持多尺度的图对比学习。由此，SkeletonGCL建立了一种全新的训练范式，可无缝集成至现有的GCN模型中。为验证其通用性，我们将其与三种主流GCN模型（2S-ACGN、CTR-GCN和InfoGCN）结合，在NTU60、NTU120和NW-UCLA三个基准数据集上均取得了稳定且一致的性能提升。代码将开源，地址为：\url{https://github.com/OliverHxh/SkeletonGCL}。