Jiawei Liu Jiahe Hou Wei Wang Jinsong Du Yang Cong Huijie Fan

Résumé

La détection d’anomalies, dont l’objectif est d’identifier des anomalies s’écartant des modèles normaux, est un défi en raison de la quantité limitée de données normales disponibles. Contrairement aux méthodes unifiées existantes, qui reposent sur des extracteurs d’images soigneusement conçus et des banques de mémoire pour capturer les relations logiques entre objets, nous introduisons une banque de mémoire textuelle afin d’améliorer la détection des anomalies logiques. Plus précisément, nous proposons un cadre à trois mémoires pour la détection unifiée des anomalies structurelles et logiques, nommé TMUAD (Three-Memory framework for Unified structural and logical Anomaly Detection). Premièrement, nous construisons une banque de mémoire textuelle au niveau des classes pour la détection d’anomalies logiques à l’aide d’un extracteur de texte sensible à la logique, capable de capturer des descriptions logiques riches des objets à partir des images d’entrée. Deuxièmement, nous établissons une banque de mémoire d’images au niveau des objets, qui préserve les contours complets des objets en extrayant des caractéristiques à partir d’objets segmentés. Troisièmement, nous utilisons des encodeurs visuels pour extraire des caractéristiques au niveau des patchs d’image, afin de constituer une banque de mémoire au niveau des patchs, dédiée à la détection des anomalies structurelles. Ces trois banques de mémoire complémentaires sont utilisées pour rechercher et comparer les images normales les plus proches de l’image interrogée, calculer des scores d’anomalie à plusieurs niveaux, puis les fusionner en un score final d’anomalie. En unifiant la détection des anomalies structurelles et logiques grâce à des banques de mémoire collaboratives, TMUAD atteint des performances de pointe sur sept jeux de données publics couvrant des domaines industriels et médicaux. Le modèle et le code sont disponibles à l’adresse suivante : [lien URL].