不仅要看，还要听：弱监督下的多模态暴力检测学习

暴力行为检测在计算机视觉领域已研究多年。然而，以往的工作大多存在表面化或数据不足的问题：例如，仅针对短片段进行分类，局限于单一场景；或仅使用单模态输入，依赖手工设计的多模态特征。为解决上述问题，本文首次发布了一个大规模、多场景的视频数据集——XD-Violence，总时长达217小时，包含4754段未剪辑的视频，均配有音频信号和弱标签。在此基础上，我们提出一种包含三个并行分支的神经网络架构，用于捕捉视频片段间的多种关系并融合特征：整体分支利用相似性先验捕捉长程依赖关系，局部分支借助邻近性先验建模局部空间位置关系，评分分支则动态捕捉预测得分之间的紧密程度。此外，我们的方法还引入一个近似器，以满足在线检测的实际需求。实验结果表明，该方法在所发布的XD-Violence数据集及其他现有基准数据集上均优于其他先进方法。大量实验证明，多模态（音视频）输入以及对片段间关系的建模具有显著的正向作用。相关代码与数据集将公开发布于：https://roc-ng.github.io/XD-Violence/。