HyperAIHyperAI

Command Palette

Search for a command to run...

光流引导特征:一种快速且鲁棒的视频动作识别运动表示方法

Shuyang Sun Zhanghui Kuang Lu Sheng Wanli Ouyang Wei Zhang

摘要

运动表示在视频中的人类动作识别中发挥着至关重要的作用。本研究提出了一种新颖且紧凑的运动表示方法,用于视频动作识别,命名为光流引导特征(Optical Flow guided Feature, OFF),该方法通过快速而稳健的方式使网络能够提取时间信息。OFF源自光流的定义,并且与光流正交。其推导过程还为使用两帧之间的差异提供了理论支持。通过直接计算深度特征图的像素级时空梯度,OFF可以以较低的成本嵌入任何现有的基于卷积神经网络(CNN)的视频动作识别框架中。它使CNN能够同时提取时空信息,特别是帧间的时间信息。这一简单但强大的想法已通过实验结果得到了验证。仅使用RGB输入的带有OFF的网络在UCF-101数据集上达到了93.3%的竞争性准确率,这与双流(RGB和光流)方法的结果相当,但速度提高了15倍。实验结果还表明,OFF与其他运动模态(如光流)具有互补性。当将所提出的方法集成到最先进的视频动作识别框架中时,其在UCF-101和HMDB-51数据集上的准确率分别为96.0%和74.2%。该项目的代码可在https://github.com/kevin-ssy/Optical-Flow-Guided-Feature 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供