12 天前
环顾四周寻找异常:基于上下文-运动关系学习的弱监督异常检测
{Sangyoun Lee, Kyungjae Lee, Chaewon Park, Sangwon Hwang, Minjung Kim, MyeongAh Cho}

摘要
弱监督视频异常检测的任务是利用视频级别的标注数据来检测帧级别的异常。由于仅依赖弱标签的有限监督,且仅使用单一主干网络分支,难以有效挖掘类别代表性特征。此外,在真实场景中,正常与异常之间的边界往往模糊不清,且随具体情境而变化。例如,同一个人的奔跑行为,在操场环境中可能属于正常,而在道路场景中则可能被视为异常。因此,本文旨在通过扩大单一分支中不同类别特征之间的相对差异,提取更具判别性的特征表示。为此,我们提出了类激活特征学习(Class-Activate Feature Learning, CLAV)方法:该方法根据类别隐式激活的权重来提取特征,并通过相对距离学习进一步拉大类别特征间的差异。此外,考虑到在复杂多变的场景中,上下文与运动之间的关联对异常识别至关重要,我们进一步提出上下文-运动关联模块(Context–Motion Interrelation Module, CoMo),该模块建模场景外观与运动之间的相互关系,而非仅依赖时间依赖性或运动信息。所提出的方法在四个基准数据集(包括大规模真实世界数据集)上均取得了当前最优(SOTA)性能。通过定性分析和泛化能力验证,我们进一步证明了关系信息在异常检测中的关键作用。