摘要
异常检测是一个成熟的研究领域，旨在识别偏离预设分布的样本。典型的异常检测流程包含两个主要阶段：（1）特征提取，以及（2）正常性评分分配。近期研究采用预训练网络进行特征提取，取得了当前最优的性能。然而，这类方法并未充分利用训练阶段可获得的正常样本信息。本文提出通过教师-学生训练（teacher-student training）机制，有效利用这些正常样本。在我们的设定中，使用一个预训练的教师网络，基于正常训练样本来训练一个学生网络。由于学生网络仅在正常样本上进行训练，因此在面对异常样本时，其行为预期将与教师网络产生偏差。这种偏差可作为对预训练特征向量的补充表示。本文提出的方法——Transformaly——基于预训练的视觉Transformer（Vision Transformer, ViT）模型，同时提取两类特征向量：一类是预训练的（与任务无关的）特征，另一类是通过教师-学生机制微调得到的特征。实验结果表明，Transformaly在两种典型设置下均取得了当前最优的AUROC性能：其一为单模态设置（即仅一个类别被视为正常，其余均为异常）；其二为多模态设置（即除一个类别外，其余所有类别均被视为正常，仅一个类别为异常）。相关代码已开源，地址为：https://github.com/MatanCohen1/Transformaly。