知其所看、何处看以及何时看：基于注意力机制的高效视频动作建模

在非受限视频中，动作识别面临空间与时间维度上信息丰富但冗余的问题，因此引入注意力机制至关重要。然而，在深度神经网络中实现视频注意力机制仍存在两大挑战。首先，一个有效的注意力模块必须能够学习“关注什么”（对象及其局部运动模式）、“在何处”（空间上）以及“何时”（时间上）进行聚焦。其次，视频注意力模块必须具备高效率，因为现有的动作识别模型本身已存在较高的计算开销。为应对上述双重挑战，本文提出一种新颖的“何—何—何时”（What-Where-When, W3）视频注意力模块。与现有方法不同，本W3模块能够联合建模视频注意力的三个核心维度。其关键优势在于极高的计算效率：通过将高维视频特征数据分解至低维语义空间（“何”对应一维通道向量，“何”对应二维空间张量），并在此基础上进行轻量级的时间注意力推理。大量实验结果表明，所提出的注意力模型显著提升了现有动作识别模型的性能，在多个基准数据集上达到了新的最先进水平。