2 个月前
超越短片段:用于视频分类的深度网络
Joe Yue-Hei Ng; Matthew Hausknecht; Sudheendra Vijayanarasimhan; Oriol Vinyals; Rajat Monga; George Toderici

摘要
卷积神经网络(CNNs)已广泛应用于图像识别问题,在识别、检测、分割和检索等方面取得了最先进的成果。在本研究中,我们提出并评估了多种深度神经网络架构,旨在比以往尝试的时间跨度更长地整合视频中的图像信息。我们提出了两种能够处理全长视频的方法。第一种方法探讨了各种卷积时间特征池化架构,分析了在将CNN适应于该任务时需要做出的各种设计选择。第二种方法则显式地将视频建模为帧的有序序列。为此,我们采用了使用长短期记忆(LSTM)单元的循环神经网络,这些单元连接到基础CNN的输出。我们的最佳网络在Sports 1百万数据集上表现出显著的性能提升(73.1% 对比 60.9%),以及在UCF-101数据集中有和无额外光流信息的情况下(88.6% 对比 88.0%,82.6% 对比 72.8%)。