2 个月前

用于视频识别的SlowFast网络

Christoph Feichtenhofer; Haoqi Fan; Jitendra Malik; Kaiming He
用于视频识别的SlowFast网络
摘要

我们介绍了用于视频识别的SlowFast网络。该模型包括(i)一个以低帧率运行的慢路径,用于捕捉空间语义;(ii)一个以高帧率运行的快路径,用于在精细的时间分辨率下捕捉运动。通过减少通道容量,快路径可以被设计得非常轻量级,但仍能学习对视频识别有用的时域信息。我们的模型在视频中的动作分类和检测任务上均表现出色,并且SlowFast概念的具体贡献带来了显著的性能提升。我们在主要的视频识别基准数据集Kinetics、Charades和AVA上报告了最先进的准确率。代码已发布在:https://github.com/facebookresearch/SlowFast