摘要
深度双流架构在基于视频的动作识别中表现出色。然而，该方法中最耗计算资源的步骤是光流计算，这阻碍了其实时应用。本文通过用运动向量替代光流来加速这一架构，运动向量可以直接从压缩视频中获取而无需额外计算。但是，运动向量缺乏精细结构，并且包含噪声和不准确的运动模式，导致识别性能显著下降。我们缓解这一问题的关键见解在于光流和运动向量之间存在内在关联。将使用光流卷积神经网络（CNN）学到的知识迁移到运动向量CNN上可以显著提升后者的性能。具体而言，我们引入了三种策略：初始化迁移、监督迁移及其组合。实验结果表明，我们的方法在识别性能上可与现有最先进方法相媲美，同时我们的方法可以达到每秒处理390.7帧的速度，比原始双流方法快27倍。