17 天前

基于均值偏移的对比损失用于异常检测

Tal Reiss, Yedid Hoshen
基于均值偏移的对比损失用于异常检测
摘要

深度异常检测方法通过学习能够区分正常图像与异常图像的表示(representation)来实现检测。尽管自监督表示学习被广泛采用,但小规模数据集的限制显著降低了其有效性。已有研究证明,利用外部通用数据集(如ImageNet分类数据集)可显著提升异常检测性能。一种常见方法是异常暴露(outlier exposure),但当外部数据集与异常样本分布不相似时,该方法效果不佳。本文采用将外部数据集上预训练的表示迁移用于异常检测的策略。通过在正常训练图像上对预训练表示进行微调,可显著提升异常检测性能。本文首先揭示并分析了当前最流行的自监督学习范式——对比学习(contrastive learning),无法直接应用于预训练特征的问题。其根本原因在于,预训练特征的初始状态会导致标准对比目标函数的条件不佳,从而引发不良的优化动态。基于上述分析,我们提出一种改进的对比目标函数——均值偏移对比损失(Mean-Shifted Contrastive Loss)。实验结果表明,该方法具有极高的有效性,在多个基准数据集上取得了新的最先进性能,尤其在CIFAR-10数据集上达到了98.6%的ROC-AUC,刷新了当前异常检测的性能纪录。

基于均值偏移的对比损失用于异常检测 | 最新论文 | HyperAI超神经