摘要
视频异常检测旨在识别视频中不符合预期行为的事件。当前主流方法主要通过片段重建或未来帧预测误差来检测异常，然而这些误差高度依赖于当前片段的局部上下文，且缺乏对正常行为模式的充分理解。为解决这一问题，本文提出一种新型检测机制：不仅基于局部上下文，还结合测试事件与训练数据中所蕴含的正常性知识之间的一致性来识别异常。具体而言，我们提出了一种基于上下文恢复与知识检索的新型双流框架，两个分支相互补充、协同工作。在上下文恢复分支中，我们设计了一种时空U-Net结构，能够充分挖掘运动信息以预测未来帧；此外，为缓解复杂前景物体导致的较大重建误差问题，提出最大局部误差机制（maximum local error mechanism），有效抑制异常误差的传播。在知识检索分支中，我们提出一种改进的可学习局部敏感哈希（learnable locality-sensitive hashing），通过孪生网络（Siamese network）与互差异损失（mutual difference loss）优化哈希函数，将正常行为的知识编码并存储于哈希表中；测试事件与知识表征之间的距离被用于衡量其异常概率。最终，我们将两个分支输出的异常得分进行融合，实现异常检测。大量实验结果表明，两个分支在检测能力上具有显著互补性，所提出的双流框架在四个公开数据集上均取得了当前最优（state-of-the-art）的性能表现。