基于可分离卷积LSTM的高效双流网络用于暴力行为检测

从监控视频中自动检测暴力行为是活动识别的一个子领域，由于其在无人值守安全监控系统、互联网视频过滤等场景中具有广泛的应用价值，因而值得特别关注。本文提出了一种高效的双流深度学习架构，该架构结合了可分离卷积长短期记忆网络（SepConvLSTM）与预训练的MobileNet模型。其中，一条分支输入经背景抑制处理后的帧，另一条分支则处理相邻帧之间的差分图像。我们采用简单且快速的输入预处理技术，通过抑制静态背景来突出帧中的运动物体，并有效捕捉帧间运动信息。由于暴力行为主要表现为身体运动，此类输入有助于提取具有判别性的特征。SepConvLSTM通过将ConvLSTM中每个门控单元的卷积操作替换为深度可分离卷积（depthwise separable convolution），在显著减少参数量的同时，仍能生成稳健的长时序时空特征。我们进一步对比了三种融合方法，用于整合两条分支输出的特征图。在三个标准公开数据集上的实验评估表明，所提模型在更大、更具挑战性的RWF-2000数据集上的准确率优于现有方法超过2个百分点，同时在较小数据集上达到了与当前最先进方法相当的性能。实验结果表明，所提出的模型在计算效率与检测准确率两方面均表现出显著优势。