基于有效多模态关系表示与时空注意力机制的群体活动识别

群体活动识别因其在体育分析、自动驾驶车辆、闭路电视监控系统以及视频摘要系统等领域的广泛应用而受到广泛关注。现有大多数方法通常仅依赖外观特征，较少考虑对象之间的潜在交互信息。为此，本文提出一种基于时空注意力机制的多模态关系表征的新型群体活动识别技术。首先，我们设计了一种对象关系模块，通过融合对象的外观特征与几何信息，实现对场景中所有对象的同步交互建模，从而有效捕捉对象间的关联关系。其次，为提取高效的运动特征，采用动作损失作为监督信号，对光流网络进行微调。随后，本文提出两种推理模型——opt-GRU与relation-GRU，分别用于高效编码对象关系与运动表征，并构建具有判别性的帧级特征表示。最后，提出一种基于注意力机制的时序聚合层，通过为不同帧级特征赋予差异化权重，实现有效视频级表征的构建。我们在两个主流数据集上进行了大量实验，均取得了当前最优的性能表现。这两个数据集分别为Volleyball数据集与Collective Activity数据集。