长短时变压器用于在线动作检测

我们介绍了长短期变压器（Long Short-term TRansformer, LSTR），这是一种用于在线行为检测的时间建模算法，通过长短期记忆机制来建模长时间序列数据。该算法由一个LSTR编码器组成，该编码器动态利用扩展时间窗口中的粗粒度历史信息（例如，2048帧覆盖长达8分钟的时间范围），以及一个LSTR解码器，该解码器专注于短时间窗口（例如，32帧覆盖8秒的时间范围）以建模数据的细粒度特征。与先前的工作相比，LSTR提供了一种有效且高效的方法来建模长视频，减少了对启发式方法的依赖，这一点已通过广泛的实证分析得到验证。LSTR在三个标准的在线行为检测基准测试中取得了最先进的性能，这些基准测试包括THUMOS'14、TVSeries和HACS Segment。代码已发布在：https://xumingze0308.github.io/projects/lstr