HyperAIHyperAI

Command Palette

Search for a command to run...

MiniROAD:面向在线动作检测的最小化RNN框架

Seon Joo Kim Ming-Hsuan Yang Su Ho Han Hyolim Kang Joungbin An

摘要

在线动作检测(Online Action Detection, OAD)是指在无法访问未来帧的情况下,对流式视频中的动作进行识别的任务。为有效捕捉长时依赖关系,研究者们投入了大量精力,其中基于Transformer的模型因其在建模长时序结构方面的出色能力而备受关注。相比之下,循环神经网络(RNN)近年来受到的关注较少,主要因其性能相较于采用Transformer的最新方法存在明显差距。本文深入探究了RNN性能逊于基于Transformer算法的根本原因。研究发现,训练阶段与推理阶段之间的不一致性是制约RNN有效训练的主要障碍。为解决该问题,我们提出在每个时间步计算损失时引入非均匀权重,从而使RNN模型能够在更接近实际推理场景的环境中进行学习。在三个基准数据集THUMOS、TVSeries和FineAction上的大量实验表明,采用所提方法训练的轻量级RNN模型,在性能上可与现有最优方法持平甚至超越,同时实现了显著的效率提升。相关代码已公开,地址为:https://github.com/jbistanbul/MiniROAD


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供