Erinnern an die Normalität: gedächtnisgestützte Wissensdistillation für überwachungsfreie Anomalieerkennung

Wissensdistillation (KD) wurde weitgehend in der unsupervisierten Anomalieerkennung (AD) untersucht. Dabei wird angenommen, dass der Schüler kontinuierlich Darstellungen typischer Muster in den trainierten Daten erzeugt, die als „Normalität“ bezeichnet werden, und dass die Darstellungsdifferenz zwischen Lehrer- und Schülermodell als Anomalie identifiziert wird. Dieses Vorgehen leidet jedoch unter dem Problem der „Normalitätsvergesslichkeit“. Da der Schüler auf anoma­liefreien Daten trainiert wird, kann er dennoch Anomalie-Darstellungen gut nachbilden und ist empfindlich gegenüber feinen Mustern in Normaldaten, die auch im Trainingsdatensatz vorkommen. Um dieses Problem zu mildern, stellen wir einen neuartigen Memory-gesteuerten Wissensdistillationsansatz (MemKD) vor, der die Normalität der Schülerdarstellungen adaptiv bei der Anomalieerkennung moduliert. Konkret führen wir zunächst ein Normalitäts-Rückruf-Speichermodul (NR Memory) ein, das die Normalität der vom Schüler generierten Merkmale durch Rückholen gespeicherter Normalitätsinformationen verstärkt. Auf diese Weise werden Darstellungen nicht als Anomalien erkannt, und feine Muster werden präzise erfasst. Anschließend nutzen wir eine Strategie zur Normalitäts-Embedding-Lernung, um die Informationsaufnahme für das NR Memory zu fördern. Hierbei wird ein Satz typischer Normalbeispiele (Normal exemplar set) konstruiert, sodass das NR Memory vorherige Kenntnisse aus anoma­liefreien Daten speichern und diese später aus der Abfrage-Darstellung abrufen kann. Umfassende Experimente zeigen, dass der vorgeschlagene MemKD auf fünf Benchmarks – MVTec AD, VisA, MPDD, MVTec 3D-AD und Eyecandies – überzeugende Ergebnisse erzielt.