HyperAIHyperAI

Command Palette

Search for a command to run...

TAP: 时序单元回归网络用于时序动作提议

Jiyang Gao; Zhenheng Yang; Chen Sun; Kan Chen; Ram Nevatia

摘要

时间动作提议(Temporal Action Proposal, TAP)生成是一个重要的问题,因为从未经剪辑的视频中快速准确地提取出语义上重要的片段(例如人类动作)是大规模视频分析中的关键步骤。我们提出了一种新颖的时间单元回归网络(Temporal Unit Regression Network, TURN)模型。该模型具有两个显著特点:(1) TURN 能够同时预测动作提议并通过对时间坐标的回归来精炼时间边界;(2) 通过单元特征重用实现快速计算:长的未经剪辑的视频被分解为视频单元,这些单元作为时间提议的基本构建块被重复利用。在 THUMOS-14 和 ActivityNet 数据集上,TURN 在平均召回率(Average Recall, AR)方面大幅超越了现有方法,并且在 TITAN X GPU 上运行速度超过每秒 880 帧(Frames Per Second, FPS)。此外,我们将 TURN 应用于现有的时间动作定位流水线的动作提议生成阶段,其性能在 THUMOS-14 和 ActivityNet 数据集上也超过了当前最先进的水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供