2 个月前

ActionVLAD:学习用于动作分类的空间-时间聚合方法

Girdhar, Rohit ; Ramanan, Deva ; Gupta, Abhinav ; Sivic, Josef ; Russell, Bryan
ActionVLAD:学习用于动作分类的空间-时间聚合方法
摘要

在本研究中,我们提出了一种新的视频表示方法,用于动作分类,该方法在整个时空范围内聚合局部卷积特征。我们通过将最先进的双流网络与可学习的时空特征聚合相结合来实现这一目标。所得到的架构可以端到端地训练,以进行全视频分类。我们探讨了不同的空间和时间池化策略以及不同流信号的组合方法。研究发现:(i)联合进行空间和时间池化非常重要,但(ii)外观和运动流最好分别聚合为独立的表示。最后,我们在 HMDB51、UCF101 和 Charades 视频分类基准上展示了我们的表示方法不仅大幅超越了双流基础架构(相对提高了 13%),而且在具有相似基础架构的其他基线模型中也表现优异。

ActionVLAD:学习用于动作分类的空间-时间聚合方法 | 最新论文 | HyperAI超神经