Jiawei Liu Jiahe Hou Wei Wang Jinsong Du Yang Cong Huijie Fan

摘要

异常检测旨在识别偏离正常模式的异常样本，但由于正常数据样本数量有限，该任务极具挑战性。与大多数现有统一方法依赖精心设计的图像特征提取器和记忆库来捕捉物体间的逻辑关系不同，本文引入一种文本记忆库，以增强对逻辑异常的检测能力。具体而言，我们提出一种用于统一结构与逻辑异常检测的三重记忆框架（Three-Memory framework for Unified structural and logical Anomaly Detection, TMUAD）。首先，通过所提出的逻辑感知文本提取器构建类别级文本记忆库，用于逻辑异常检测，该方法能够从输入图像中捕捉丰富的物体逻辑描述信息。其次，通过从分割后的物体中提取特征，构建保留完整物体轮廓的物体级图像记忆库。第三，利用视觉编码器提取图像块级特征，构建用于结构异常检测的块级记忆库。这三个互补的记忆库协同工作，用于检索并比对与查询图像最相似的正常图像，从多个层级计算异常得分，并将这些得分融合生成最终的异常评分。通过协同记忆库实现结构与逻辑异常检测的统一，TMUAD在涵盖工业与医疗领域的七个公开数据集上均取得了当前最优的性能表现。相关模型与代码已公开，获取地址见本文链接。