基于记忆增强的光流重建与光流引导的帧预测的混合视频异常检测框架

在本文中，我们提出了一种名为 $\text{HF}^2$-VAD 的混合框架，该框架无缝融合了光流重建与帧预测，用于视频异常检测。首先，我们设计了 ML-MemAE-SC（带跳跃连接的自编码器中的多层级记忆模块）网络，用于记忆正常视频模式，以实现光流的重建，从而使得异常事件能够通过较大的光流重建误差被灵敏地识别。更重要的是，在重建光流的基础上，我们进一步引入了条件变分自编码器（CVAE），以捕捉视频帧与光流之间的高度相关性，基于若干前序帧来预测下一帧。由于帧预测的质量在很大程度上依赖于光流重建的质量，因此异常事件中重建效果较差的光流将进一步降低最终预测帧的质量，从而使异常更加显著。实验结果验证了所提方法的有效性。代码已开源，获取地址为 \href{https://github.com/LiUzHiAn/hf2vad}{https://github.com/LiUzHiAn/hf2vad}。