基于卷积神经网络与LSTM神经网络的时序融合方法用于视频分类——以暴力检测为例

在现代智慧城市中，人们对高度集成与自动化服务的追求日益迫切。在视频监控领域，主要挑战之一是如何实现对视频内容的实时自动化分析，以及时识别关键异常事件。本文提出了一种基于卷积神经网络（采用MobileNet、InceptionV3和VGG16网络结构）、长短期记忆网络（LSTM）以及前馈神经网络的智能模型，用于对视频进行分类，区分“暴力”与“非暴力”两类场景，所使用的数据集为RLVS数据库。研究中采用了多种基于时序融合（Temporal Fusion）技术的数据表示方法。实验结果表明，模型在准确率（Accuracy）和F1分数（F1-Score）上分别达到了0.91和0.90，优于以往在相同数据库上开展的同类研究的性能表现，显示出更高的分类效果。