MuSc : Classification et segmentation d’anomalies industrielles sans apprentissage préalable grâce au scoring mutuel des images non étiquetées

Cet article étudie la classification (AC) et la segmentation (AS) des anomalies en vision industrielle en zéro-shot. Nous mettons en évidence que les indices normaux et anormaux abondants implicites dans les images de test non étiquetées peuvent être exploités pour la détection des anomalies, une caractéristique ignorée par les méthodes antérieures. Notre observation clé est que, pour les images de produits industriels, les patches d’images normales peuvent trouver un nombre relativement élevé de patches similaires dans d'autres images non étiquetées, tandis que les patches anormaux n’en ont que très peu. Nous exploitons cette caractéristique discriminative pour concevoir une nouvelle méthode zéro-shot de classification et de segmentation des anomalies, basée sur le Mutual Scoring (MuSc) des images non étiquetées, qui ne nécessite ni entraînement ni prompts. Plus précisément, nous appliquons une aggregation de voisinage local à plusieurs degrés (LNAMD) afin d’obtenir des caractéristiques de patches capables de représenter des anomalies de tailles variées. Ensuite, nous proposons un mécanisme de Mutual Scoring (MSM) pour exploiter les images de test non étiquetées afin d’attribuer un score d’anomalie à chacune d’elles. En outre, nous introduisons une méthode d’optimisation nommée Re-scoring with Constrained Image-level Neighborhood (RsCIN), destinée à la classification d’anomalies au niveau de l’image, afin de réduire les faux positifs causés par les bruits présents dans les images normales. Les performances supérieures obtenues sur les défis MVTec AD et VisA démontrent l’efficacité de notre approche. Par rapport aux méthodes zéro-shot de pointe, MuSc atteint une amélioration absolue de 21,1 % en PRO (passant de 72,7 % à 93,8 %) sur MVTec AD, une augmentation de 19,4 % en pixel-AP et de 14,7 % en pixel-AUROC sur VisA. En outre, notre méthode zéro-shot surpasse la plupart des approches à quelques exemples (few-shot) et se compare favorablement à certaines méthodes à un seul type (one-class). Le code est disponible à l’adresse suivante : https://github.com/xrli-U/MuSc.