MuSc: Zero-Shot Industrial Anomaly Classification and Segmentation with Mutual Scoring of the Unlabeled Images

Diese Arbeit untersucht die zero-shot-Anomalieklassifikation (AC) und -segmentierung (AS) im Bereich industrieller Vision. Wir zeigen auf, dass die reichhaltigen normalen und anomalen Hinweise, die in unlabeled Testbildern implizit enthalten sind, für die Anomalieerkennung genutzt werden können – ein Aspekt, der von vorhergehenden Methoden ignoriert wird. Unser zentrales Beobachtungsergebnis ist, dass sich bei industriellen Produktbildern die normalen Bildpatches relativ häufig in anderen unlabeled Bildern ähnliche Patches finden lassen, während anomale Patches nur wenige solche Nachbarn aufweisen. Ausgehend von dieser differenzierenden Eigenschaft entwickeln wir eine neuartige zero-shot-AC/AS-Methode namens Mutual Scoring (MuSc), die keine Trainingsschritte oder Prompt-Informationen benötigt. Konkret führen wir Local Neighborhood Aggregation with Multiple Degrees (LNAMD) durch, um Patch-Features zu erzeugen, die Anomalien unterschiedlicher Größe präzise repräsentieren können. Anschließend stellen wir die Mutual Scoring Mechanism (MSM) vor, die die unlabeled Testbilder nutzt, um einander gegenseitig Anomalie-Scores zuzuweisen. Darüber hinaus präsentieren wir eine Optimierungsstrategie namens Re-scoring with Constrained Image-level Neighborhood (RsCIN), um bei der Bild-Level-Anomalieklassifikation Falsch-Positive-Ergebnisse, die durch Rauschen in normalen Bildern verursacht werden, zu unterdrücken. Die herausragende Leistung unserer Methode auf den anspruchsvollen Datensätzen MVTec AD und VisA belegt die Wirksamkeit unseres Ansatzes. Im Vergleich zu den state-of-the-art zero-shot-Methoden erreicht MuSc eine absolute Verbesserung von $\textbf{21,1\%}$ im PRO-Maß (von 72,7\% auf 93,8\%) auf MVTec AD, sowie eine Verbesserung um $\textbf{19,4\%}$ im pixel-AP und $\textbf{14,7\%}$ im pixel-AUROC auf VisA. Zudem übertrifft unsere zero-shot-Methode die meisten Few-shot-Verfahren und ist mit einigen One-Class-Methoden vergleichbar. Der Quellcode ist unter https://github.com/xrli-U/MuSc verfügbar.