HyperAIHyperAI

Command Palette

Search for a command to run...

TemporalMaxer:仅使用最大池化实现时序上下文最大化用于时序动作定位

Tuan N. Tang Kwonyoung Kim Kwanghoon Sohn

摘要

时间动作定位(Temporal Action Localization, TAL)是视频理解领域中一项具有挑战性的任务,其目标是在视频序列中识别并精确定位各类动作。近年来的研究强调了在提取的视频片段特征上应用长期时间上下文建模(Temporal Context Modeling, TCM)模块的重要性,例如采用复杂的自注意力机制。本文提出了一种迄今为止最为简洁的方法来应对该任务,并论证了:仅依靠提取的视频片段特征本身,即可实现卓越的性能,而无需依赖复杂的网络架构。为此,我们提出了TemporalMaxer,该方法在最小化长期时间上下文建模的同时,通过一个基础、无参数且仅作用于局部区域的最大池化(max-pooling)模块,最大化地利用提取的视频片段特征中的信息。该模块仅保留相邻及局部片段嵌入中最关键的信息,从而构建出更为高效的TAL模型。实验结果表明,TemporalMaxer在多个主流TAL数据集上均优于采用长期TCM(如自注意力机制)的现有先进方法,同时显著减少了模型参数量与计算资源消耗。本文所提方法的代码已公开,可访问 https://github.com/TuanTNG/TemporalMaxer 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供