自蒸馏掩码自编码器是高效的视频异常检测器

我们提出了一种基于轻量级掩码自编码器（Masked Auto-Encoder, MAE）的高效异常事件检测模型，该模型在视频帧级别上进行应用。所提模型的创新性体现在三个方面：首先，我们提出一种基于运动梯度加权令牌的方法，将检测重点从静态背景场景转移至前景目标，从而提升对动态异常的敏感性；其次，我们在模型架构中引入教师解码器与学生解码器，并利用两者输出之间的差异来增强异常检测能力；第三，我们通过生成合成异常事件对训练视频进行数据增强，并训练掩码自编码器同时重建原始帧（无异常）与对应的像素级异常图。实验在四个基准数据集（Avenue、ShanghaiTech、UBnormal 和 UCSD Ped2）上广泛验证了该模型的有效性。结果表明，该模型在速度与准确率之间实现了优异的平衡，取得了具有竞争力的AUC评分，且处理速度高达1655 FPS，相较现有方法提速达8至70倍。此外，我们还进行了消融实验以验证各设计模块的有效性。相关代码已开源，地址为：https://github.com/ristea/aed-mae。