SAM-LAD: Segment Anything Model trifft auf zero-shot Logik-Anomalieerkennung

Die visuelle Anomalieerkennung ist von entscheidender Bedeutung für reale Anwendungen wie die industrielle Defektdetektion und medizinische Diagnose. Allerdings konzentrieren sich die meisten bestehenden Methoden auf lokale strukturelle Anomalien und sind nicht in der Lage, höhere funktionale Anomalien unter logischen Bedingungen zu erkennen. Obwohl jüngere Studien die logische Anomalieerkennung untersucht haben, können sie lediglich einfache Anomalien wie fehlende oder zusätzliche Objekte erfassen und zeigen aufgrund ihrer stark datengetriebenen Natur eine geringe Verallgemeinerungsfähigkeit. Um diese Lücke zu schließen, stellen wir SAM-LAD vor – einen zero-shot, plug-and-play Rahmen für die logische Anomalieerkennung in beliebigen Szenen. Zunächst extrahieren wir mithilfe eines vortrainierten Backbone-Modells die Merkmalskarte des Abfragebildes. Gleichzeitig identifizieren wir über eine Nachbarschaftssuche die Referenzbilder und deren entsprechende Merkmalskarten. Anschließend nutzen wir das Segment Anything Model (SAM), um Objektmasken für das Abfragebild und die Referenzbilder zu generieren. Jede Objektmaske wird mit der vollständigen Merkmalskarte des Bildes multipliziert, um Objektmakros zu erhalten. Darauf aufbauend schlagen wir ein Objekt-Übereinstimmungsmodell (OMM) vor, um Objekte zwischen Abfrage- und Referenzbildern zu vergleichen. Um die Objektübereinstimmung zu erleichtern, führen wir zudem einen dynamischen Kanal-Graph-Attention-Modul (DCGA) ein, bei dem jedes Objekt als Schlüsselpunkt betrachtet und dessen Merkmalskarte in einen Merkmalsvektor umgewandelt wird. Schließlich wird auf Basis der ermittelten Objektübereinstimmungsbeziehungen ein Anomalie-Messmodell (AMM) vorgestellt, das Objekte mit logischen Anomalien detektiert. Auch strukturelle Anomalien innerhalb der Objekte können erkannt werden. Wir validieren unser vorgeschlagenes SAM-LAD anhand verschiedener Benchmarks, darunter industrielle Datensätze (MVTec Loco AD, MVTec AD) sowie der logische Datensatz (DigitAnatomy). Umfangreiche experimentelle Ergebnisse zeigen, dass SAM-LAD bestehende State-of-the-Art-Methoden übertrifft, insbesondere bei der Erkennung logischer Anomalien.