一种基于对抗训练的背景无关框架用于视频中的异常事件检测

视频中的异常事件检测是一个复杂的计算机视觉问题，近年来引起了广泛关注。该任务的复杂性源于对异常事件的常用定义，即一种很少发生且通常依赖周围上下文的事件。根据异常事件检测的标准表述作为离群点检测，我们提出了一种背景无关的框架，该框架仅从包含正常事件的训练视频中学习。我们的框架由一个目标检测器、一组外观和运动自编码器以及一组分类器组成。由于该框架仅关注目标检测结果，因此可以应用于不同的场景，前提是这些场景中的正常事件定义相同，并且唯一的主变化因素是背景。为了解决训练过程中缺乏异常数据的问题，我们提出了自编码器的对抗学习策略。我们创建了一组与场景无关的域外伪异常示例（out-of-domain pseudo-abnormal examples），这些示例在应用梯度上升之前由自编码器正确重建。此外，我们还利用这些伪异常示例作为异常示例来训练基于外观和基于运动的二元分类器，以区分正常和异常的潜在特征及重建结果。我们在四个基准数据集上使用多种评估指标将我们的框架与现有最先进方法进行了比较。实证结果表明，与其他现有方法相比，我们的方法在这四个数据集上均表现出优异性能。此外，我们为文献中的两个大规模异常事件检测数据集——ShanghaiTech 和 Subway——提供了基于区域和基于轨迹的注释。