Das Potenzial der Rückdistillation für die Anomalieerkennung aufschließen

Wissensverdichtung (Knowledge Distillation, KD) ist ein vielversprechender Ansatz für die unüberwachte Anomalieerkennung (Anomaly Detection, AD). Allerdings führt die Übergeneralisierung des Schülers oft dazu, dass die entscheidenden Repräsentationsunterschiede zwischen Lehrer und Schüler in anomalen Bereichen verringert werden, was zu Erkennungsfehlern führt. Um dieses Problem anzugehen, entwarf das weit verbreitete Paradigma der umgekehrten Verdichtung (Reverse Distillation, RD) asymmetrische Lehrer- und Schülersysteme, bei denen ein Encoder als Lehrer und ein Decoder als Schüler verwendet wird. Dennoch stellt das Design von RD nicht sicher, dass der Lehrer-Encoder effektiv zwischen normalen und abnormen Merkmalen unterscheidet oder dass der Schüler-Decoder anormalitätsfreie Merkmale erzeugt. Zudem führt das Fehlen von Skip-Verbindungen zu einem Verlust feiner Details während der Merkmalsrekonstruktion. Um diese Probleme zu lösen, schlagen wir RD mit Expertise vor, wobei ein neues Expert-Lehrer-Schüler-Netzwerk zur gleichzeitigen Verdichtung sowohl des Lehrer-Encoders als auch des Schüler-Decoders eingeführt wird. Das hinzugefügte Expertennetzwerk verbessert die Fähigkeit des Schülers, normale Merkmale zu generieren, und optimiert die Unterscheidungsfähigkeit des Lehrers zwischen normalen und abnormen Merkmalen, wodurch Fehlalarme reduziert werden. Darüber hinaus wurde eine geführte Informationsinjektion entwickelt, um Merkmale vom Lehrer zum Schüler zu filtern und zu übertragen. Dies verbessert die Detailrekonstruktion und minimiert falsch positive Ergebnisse. Experimente auf mehreren Benchmarks zeigen, dass unsere Methode bestehende unüberwachte AD-Methoden unter dem RD-Paradigma übertrifft und das volle Potenzial von RD ausschöpft.