对比正则化U-Net用于视频异常检测

视频异常检测旨在识别视频中的异常片段。该任务通常采用弱监督的视频级别标签进行训练。本文聚焦于影响视频异常检测模型性能的两个关键因素。首先，我们探讨如何更有效地捕捉局部与全局的时间依赖关系。以往的网络架构虽能分别有效建模局部或全局信息，却难以兼顾二者。为此，我们提出采用类似U-Net的结构，在统一框架中同时建模两类依赖关系：编码器在局部依赖的基础上分层学习全局依赖；解码器则将提取的全局信息回传至片段级别，用于最终分类。其次，由于训练数据有限，过拟合问题在视频异常检测中尤为突出。为此，我们提出一种弱监督对比正则化方法，该方法基于特征层面进行网络正则化。对比正则化通过强制类间可分性与类内紧凑性，学习更具泛化能力的特征表示。在UCF-Crime数据集上的大量实验表明，所提方法显著优于多个现有先进方法。