DiAD: Ein diffusionsbasierter Rahmen für die Mehrklassen-Anomalieerkennung

Rekonstruktionsbasierte Ansätze haben in der Anomalieerkennung bemerkenswerte Ergebnisse erzielt. Die außergewöhnlichen Fähigkeiten moderner Diffusionsmodelle, Bilder zu rekonstruieren, haben Forschungsanstrengungen angeregt, diese für eine verbesserte Rekonstruktion von anomalen Bildern zu nutzen. Dennoch könnten diese Methoden im praktischeren Mehrklassenszenario Herausforderungen bei der Erhaltung von Bildkategorien und pixelgenauer struktureller Integrität gegenüberstehen. Um die oben genannten Probleme zu lösen, schlagen wir einen Diffusionsbasierten Anomalieerkennungsrahmen (DiAD) für die Mehrklassen-Anomalieerkennung vor. Dieser besteht aus einem Pixelraum-Autoencoder, einem latente Raum-Semantikgeführten (SG) Netzwerk mit einer Verbindung zum Entvernischnetzwerk stabiler Diffusion und einem vortrainierten Merkmalsraum-Merkmalsextraktor.Zunächst wird das SG-Netzwerk vorgeschlagen, um anomale Bereiche zu rekonstruieren, während es die semantische Information des ursprünglichen Bildes bewahrt. Zweitens führen wir einen räumlichkeitsbewussten Merkmalsfusionsblock (SFF) ein, um die Rekonstruktionsgenauigkeit bei umfangreichen Rekonstruktionen zu maximieren. Drittens werden Eingangs- und rekonstruierte Bilder durch einen vortrainierten Merkmalsextraktor verarbeitet, um Anomaliekarten basierend auf Merkmalen unterschiedlicher Skalen zu generieren.Experimente auf den Datensätzen MVTec-AD und VisA zeigen die Effektivität unseres Ansatzes, der die Standesder-Kunst-Methoden übertrifft. So erreicht unser Ansatz Werte von 96,8/52,6 und 97,2/99,0 (AUROC/AP) für die Lokalisierung und Erkennung von Anomalien im Mehrklassen-MVTec-AD-Datensatz. Der Quellcode wird unter https://lewandofskee.github.io/projects/diad zur Verfügung gestellt.