摘要
本文首次引入了时间注意力滤波器的概念，并描述了如何利用它们从视频中识别人类活动。许多高层次的活动通常由多个具有不同持续时间和速度的时间部分（例如，子事件）组成，我们的目标是通过使用多个注意力滤波器使模型显式地学习这种时间结构并从中受益。我们设计的时间滤波器是完全可微分的，这使得可以将时间滤波器与底层基于帧或基于片段的卷积神经网络架构一起进行端到端训练。本文提出了一种学习一组最优静态时间注意力滤波器的方法，这些滤波器可以在不同的视频之间共享，并扩展了这种方法，通过使用循环长短时记忆网络（LSTMs）在测试视频中动态调整注意力滤波器。这使得我们的时间注意力滤波器能够学习每个活动特有的潜在子事件。实验结果证实了所提出的 时间注意力滤波器概念对活动识别有积极作用，我们还对学习到的潜在子事件进行了可视化展示。