基于自监督和多任务学习的视频异常检测

视频中的异常检测是一个具有挑战性的计算机视觉问题。由于训练时缺乏异常事件，异常检测需要设计无需完全监督的学习方法。在本文中，我们通过对象级别的自监督和多任务学习来解决视频中的异常事件检测问题。首先，我们利用预训练的检测器来检测对象。然后，我们训练一个三维卷积神经网络，通过联合学习多个代理任务来生成具有区分性的异常特定信息：三个自监督任务和一个基于知识蒸馏的任务。自监督任务包括：(i) 前进/后退移动对象的判别（时间箭头），(ii) 连续/间歇帧中对象的判别（运动不规则性）以及 (iii) 对象特定外观信息的重建。知识蒸馏任务同时考虑分类和检测信息，在发生异常时生成教师模型和学生模型之间的较大预测差异。据我们所知，我们是首次将视频中的异常事件检测作为多任务学习问题进行研究，并在一个单一架构中集成了多个自监督和知识蒸馏代理任务。我们的轻量级架构在三个基准数据集上超过了现有最先进方法：Avenue、ShanghaiTech 和 UCSD Ped2。此外，我们还进行了消融研究，证明了在多任务学习设置中整合自监督学习和特定正常性的蒸馏的重要性。