15 天前

提升时序动作定位:基于循环机制的先进S6建模

Sangyoun Lee, Juho Jung, Changdae Oh, Sunghee Yun
提升时序动作定位:基于循环机制的先进S6建模
摘要

时间动作定位(Temporal Action Localization, TAL)是视频分析中的关键任务,旨在精确识别动作的起始与结束时间。现有方法如卷积神经网络(CNNs)、循环神经网络(RNNs)、图卷积网络(GCNs)以及Transformer等,在捕捉长距离依赖关系和时间因果性方面仍存在局限。为应对这些挑战,本文提出一种基于选择性状态空间模型(Selective State Space Model, S6)的新型TAL架构。该方法引入特征聚合双向S6模块(Feature Aggregated Bi-S6 block)、双路双向S6结构(Dual Bi-S6 structure)以及递归机制,有效增强了时间维度与通道维度的依赖建模能力,同时保持参数复杂度不变。在多个基准数据集上的大量实验表明,所提方法取得了当前最优性能:在THUMOS-14数据集上达到74.2%的平均精度(mAP),ActivityNet上为42.9%,FineAction上为29.6%,HACS上为45.8%。消融实验进一步验证了方法的有效性,结果表明,Stem模块中的双路结构以及递归机制显著优于传统方法。本研究充分展示了基于S6模型在TAL任务中的巨大潜力,为后续研究提供了新的方向与技术路径。

提升时序动作定位:基于循环机制的先进S6建模 | 最新论文 | HyperAI超神经