摘要
知识蒸馏（Knowledge Distillation, KD）是一种有前景的无监督异常检测（Anomaly Detection, AD）方法。然而，学生网络的过度泛化通常会削弱教师和学生在异常区域中的关键表示差异，导致检测失败。为了解决这一问题，广泛接受的反向蒸馏（Reverse Distillation, RD）范式设计了非对称的教师和学生网络，使用编码器作为教师网络，解码器作为学生网络。然而，RD的设计并不能保证教师编码器有效地区分正常特征和异常特征，也不能保证学生解码器生成无异常的特征。此外，缺乏跳跃连接会导致特征重建过程中细粒度细节的丢失。为了应对这些问题，我们提出了一种带有专家网络的反向蒸馏（RD with Expert），该方法引入了一个新颖的专家-教师-学生网络，用于同时蒸馏教师编码器和学生解码器。加入的专家网络增强了学生生成正常特征的能力，并优化了教师区分正常特征和异常特征的能力，从而减少了漏检率。此外，还设计了引导信息注入机制（Guided Information Injection），用于过滤并传输从教师到学生的特征，改善细节重建并最小化误报率。实验结果表明，在多个基准数据集上，我们的方法在反向蒸馏范式下优于现有的无监督异常检测方法，充分释放了RD的潜力。