Segmentieren jeder Anomalie ohne Training durch hybride Prompt-Regularisierung

Wir präsentieren einen neuen Ansatz, den sogenannten Segment Any Anomaly + (SAA+), für die zero-shot-Anomalie-Segmentierung mit hybrider Prompt-Regularisierung, um die Anpassungsfähigkeit moderner Foundation-Modelle zu verbessern. Bestehende Modelle zur Anomalie-Segmentierung basieren typischerweise auf domain-spezifischem Feinabstimmen, was ihre Generalisierbarkeit über eine unzählige Vielzahl an Anomalie-Mustern hinweg einschränkt. In dieser Arbeit lassen wir uns von der herausragenden zero-shot-Generalisierungsfähigkeit von Foundation-Modellen wie Segment Anything inspirieren und untersuchen erstmals deren Kombination, um vielfältiges multimodales Vorwissen für die Lokalisierung von Anomalien zu nutzen. Für die parameterfreie Anpassung von Foundation-Modellen an die Anomalie-Segmentierung führen wir zudem hybride Prompts ein, die aus fachlichem Expertenwissen und Kontextinformationen der Zielbilder abgeleitet sind und als Regularisierung dienen. Das vorgeschlagene SAA+ Modell erreicht state-of-the-art Ergebnisse auf mehreren Benchmarks zur Anomalie-Segmentierung, darunter VisA, MVTec-AD, MTD und KSDD2, im zero-shot-Szenario. Der Quellcode wird unter \href{https://github.com/caoyunkang/Segment-Any-Anomaly}{https://github.com/caoyunkang/Segment-Any-Anomaly} veröffentlicht werden.