姿态与关节感知的动作识别

近期动作识别领域的进展主要集中在RGB图像与光流特征上。本文提出一种基于关节（joint-based）的动作识别新方法。与其它模态不同，关节之间的空间构型及其运动能够生成简洁而有效的动作信息表示，从而为动作识别提供有力支持。为此，我们提出一种新型的关节驱动动作识别模型：该模型首先通过共享的运动编码器分别提取每个关节的运动特征，随后进行集体推理。模型中的关节选择模块对关节信息进行重新加权，以筛选出对任务最具判别性的关键关节。此外，我们设计了一种新颖的关节对比损失（joint-contrastive loss），该损失函数能够将表达相同动作的关节特征组拉近，增强特征的语义一致性。为进一步强化基于关节的表征能力，我们引入一种几何感知的数据增强策略，通过轻微扰动姿态热图（pose heatmaps）来保留动作的动力学特性。实验结果表明，我们的方法在JHMDB、HMDB、Charades以及AVA等主流动作识别数据集上，显著超越了当前最先进的基于关节的方法。当与基于RGB和光流的方法进行后期融合时，性能进一步提升。此外，该模型在Mimetics数据集（一个包含非上下文动作的挑战性数据集）上的表现也优于现有基准方法。