摘要
对比学习已成功应用于半监督骨架动作识别中的动作表示学习。然而，大多数基于对比学习的方法仅对比混合了时空信息的全局特征，这导致了反映不同语义的帧级和关节级空间特异性信息和时间特异性信息混淆。因此，我们提出了一种新的时空解耦压缩对比学习（Spatiotemporal Decouple-and-Squeeze Contrastive Learning, SDS-CL）框架，通过联合对比空间压缩特征、时间压缩特征和全局特征，全面学习更加丰富的骨架动作表示。在SDS-CL中，我们设计了一种新的时空解耦内-外注意力机制（Spatiotemporal-decoupling Intra-Inter Attention, SIIA），以获取用于捕捉时空特定信息的解耦注意力特征。该机制通过计算关节/运动特征之间的空间解耦内注意力图和时间解耦内注意力图，以及关节与运动特征之间的空间解耦外注意力图和时间解耦外注意力图来实现。此外，我们引入了一种新的空间压缩时间对比损失（Spatial-squeezing Temporal-contrasting Loss, STL）、一种新的时间压缩空间对比损失（Temporal-squeezing Spatial-contrasting Loss, TSL）以及全局对比损失（Global-contrasting Loss, GL）。这些损失函数分别用于在帧级对比空间压缩的关节和运动特征，在关节级对比时间压缩的关节和运动特征，以及在骨架级对比全局的关节和运动特征。广泛的实验结果表明，在四个公开数据集上，所提出的SDS-CL方法相比其他竞争方法取得了性能提升。