基于极端增强骨架序列的对比学习用于自监督动作识别

近年来，随着对比学习方法的发展，基于骨架的动作识别的自监督表示学习也取得了进展。现有的对比学习方法通过常规增强手段构建相似的正样本，这限制了探索新颖运动模式的能力。本文提出了一种利用丰富信息挖掘进行自监督动作表示的对比学习框架（AimCLR）。首先，提出了极端增强手段和基于能量的注意力引导丢弃模块（Energy-based Attention-guided Drop Module, EADM），以获得多样化的正样本，这些样本引入了新的运动模式，提高了所学表示的普遍性。其次，由于直接使用极端增强手段可能会因原始身份的巨大变化而无法提升性能，因此提出了双重分布散度最小化损失（Dual Distributional Divergence Minimization Loss, D$^3$M Loss），以更温和的方式最小化分布散度。第三，提出了最近邻挖掘（Nearest Neighbors Mining, NNM）方法，进一步扩展正样本，使丰富信息挖掘过程更加合理。在NTU RGB+D 60、PKU-MMD和NTU RGB+D 120数据集上进行的大量实验验证了我们的AimCLR在多种评估协议下显著优于现有最先进方法，并且观察到其生成的动作表示质量更高。我们的代码可在https://github.com/Levigty/AimCLR 获取。