Lernen tiefer Merkmalskorrespondenzen für die überwachungsfreie Anomalieerkennung und -segmentierung

Die Entwicklung von maschinellen Lernmodellen, die unerwartete oder anomale Strukturen innerhalb von Bildern erkennen und lokalisieren können, ist für zahlreiche Aufgaben im Bereich des maschinellen Sehens von großer Bedeutung, beispielsweise bei der Fehlerinspektion hergestellter Produkte. Dies ist jedoch besonders herausfordernd, wenn nur wenige oder gar keine Beispielbilder mit Anomalien zur Verfügung stehen. In diesem Artikel stellen wir einen unsupervisierten Ansatz vor, nämlich die tiefe Merkmalskorrespondenz (Deep Feature Correspondence, DFC), der effektiv genutzt werden kann, um Anomalien in Bildern ausschließlich auf Basis von Wissen aus anoma­liefreien Beispielen zu detektieren und zu segmentieren. Wir entwickeln unsere DFC innerhalb eines asymmetrischen Dual-Netzwerk-Frameworks, das aus einem generischen Merkmalsextraktionsnetzwerk und einem detaillierten Merkmalschätzungsnetwork besteht, und erkennen mögliche Anomalien in Bildern, indem wir die zugehörige tiefe Merkmalskorrespondenz zwischen den beiden Netzwerkzweigen modellieren und bewerten. Darüber hinaus schlagen wir speziell eine Selbst-Merkmalsverstärkung (Self-Feature Enhancement, SFE) und ein Multi-Context-Residual-Learning (MCRL)-Netzwerkmodul vor, um die Robustheit der DFC zu verbessern und die Detektionsleistung weiter zu steigern. Um die Wirksamkeit unserer DFC sowie der vorgeschlagenen SFE- und MCRL-Methoden zu validieren, wurden umfangreiche Experimente durchgeführt. Unser Ansatz erweist sich als äußerst effektiv bei der Erkennung und Segmentierung von Anomalien, die sich auf begrenzte lokale Bereiche innerhalb von Bildern beschränken, insbesondere bei industriellen Anomalien. Er erreicht eine Verbesserung der bisherigen State-of-the-Art-Leistung auf dem Benchmark-Datensatz MVTec AD. Zudem übertrifft er bei der Anwendung auf eine reale industrielle Inspektionsszene die vergleichbaren Methoden deutlich.