MixedTeacher: Knowledge Distillation für schnelle Inference bei der texturale Anomalieerkennung

Seit langem steht die unüberwachte Lernmethode zur Anomalieerkennung im Zentrum der Forschung im Bereich der Bildverarbeitung und bildet eine entscheidende Grundlage für hochleistungsfähige industrielle Automatisierungsprozesse. Mit dem Aufkommen von Convolutional Neural Networks (CNN) wurden verschiedene Ansätze vorgeschlagen, darunter Autoencoder, Generative Adversarial Networks (GAN) sowie tiefes Merkmalsextraktionsverfahren. In diesem Beitrag stellen wir eine neue Methode vor, die auf dem vielversprechenden Konzept des Knowledge Distillation basiert. Dabei wird ein Netzwerk (der Schüler) auf Normaldaten trainiert, während dessen Ausgabe durch ein größeres, vortrainiertes Netzwerk (der Lehrer) gesteuert wird. Die Hauptbeiträge dieser Arbeit sind zweifach: Erstens wird eine reduzierte Schülerarchitektur mit optimaler Schichtauswahl vorgeschlagen; zweitens wird eine neue Student-Teacher-Architektur mit Reduktion von Netzwerkverzerrungen vorgestellt, die zwei Lehrer kombiniert, um sowohl die Genauigkeit der Anomalieerkennung als auch deren Lokalisierungsignifikant zu verbessern. Der vorgeschlagene Detektor für texturale Anomalien zeichnet sich durch eine herausragende Fähigkeit zur Erkennung von Defekten in beliebigen Texturen sowie durch eine schnelle Inferenzzeit im Vergleich zu aktuellen State-of-the-Art-Methoden aus.