基于状态空间Transformer的高效电影场景检测

准确区分电影中的不同场景对于理解影片叙事脉络至关重要。然而，精确检测电影场景往往极具挑战性，因为这需要对极长的视频片段进行推理。这与大多数现有视频识别模型的设计目标形成鲜明对比——后者通常面向短时视频分析。为此，本文提出了一种状态空间Transformer模型，能够高效捕捉长视频中的依赖关系，从而实现精准的电影场景检测。我们提出的模型名为TranS4mer，其核心构建模块为一种新颖的S4A单元，该单元融合了结构化状态空间序列（S4）与自注意力（A）机制的优点。给定按电影镜头（即摄像机位置不变的连续时段）划分的帧序列，S4A单元首先通过自注意力机制捕获镜头内部的短程依赖关系；随后，利用S4A单元中的状态空间操作，聚合跨镜头的长程上下文线索。通过多次堆叠S4A单元，最终构建出可端到端训练的TranS4mer模型。在MovieNet、BBC和OVSD三个电影场景检测数据集上，TranS4mer均显著优于所有现有方法，同时相较标准Transformer模型，其推理速度提升约2倍，GPU内存占用减少约3倍。相关代码与模型将公开发布。