AnomalyCLIP : Apprentissage de prompt sans dépendance aux objets pour la détection d'anomalies zéro-shot

La détection d’anomalies zéro-shot (ZSAD) repose sur des modèles d’apprentissage entraînés à l’aide de données auxiliaires afin de détecter des anomalies sans échantillon d’entraînement dans un jeu de données cible. Il s’agit d’une tâche cruciale lorsque les données d’entraînement ne sont pas accessibles pour diverses raisons, telles que la confidentialité des données, mais elle reste difficile car les modèles doivent généraliser à des anomalies provenant de domaines variés, où l’apparence des objets principaux, des régions anormales et des caractéristiques de fond — par exemple des défauts ou tumeurs sur différents produits ou organes — peut varier considérablement. Récemment, les grands modèles pré-entraînés vision-langage (VLM), comme CLIP, ont démontré une capacité remarquable à la reconnaissance zéro-shot dans diverses tâches visuelles, y compris la détection d’anomalies. Toutefois, leur performance en ZSAD reste limitée, car ces modèles se concentrent davantage sur la modélisation des sémantiques de classe des objets principaux que sur la distinction entre normalité et anomalie dans les images. Dans cet article, nous proposons une nouvelle approche, nommée AnomalyCLIP, pour adapter CLIP afin d’obtenir une détection zéro-shot précise d’anomalies sur différents domaines. L’idée centrale d’AnomalyCLIP consiste à apprendre des prompts textuels indépendants des objets, capables de capturer la normalité et l’anomalie générales présentes dans une image, indépendamment des objets principaux. Cela permet à notre modèle de se concentrer sur les régions anormales de l’image plutôt que sur les sémantiques des objets, permettant ainsi une reconnaissance généralisée de la normalité et de l’anomalie sur des types d’objets diversifiés. Des expérimentations à grande échelle sur 17 jeux de données réels de détection d’anomalies montrent qu’AnomalyCLIP atteint des performances supérieures en zéro-shot pour la détection et la segmentation d’anomalies dans des jeux de données présentant des sémantiques de classes très variées, provenant de domaines tels que l’inspection de défauts et l’imagerie médicale. Le code sera rendu disponible à l’adresse suivante : https://github.com/zqhang/AnomalyCLIP.