P-KDGAN: Progressive Knowledge Distillation mit GANs für One-Class Novelty Detection

Ein-Klassen-Neuartigkeitsdetektion dient zur Identifizierung anomaler Instanzen, die nicht den erwarteten normalen Instanzen entsprechen. In diesem Artikel werden Generative Adversarial Networks (GANs) mit einem Encoder-Decoder-Encoder-Pipeline-Ansatz zur Detektion eingesetzt und erreichen dabei einen Stand der Technik. Allerdings sind tiefe neuronale Netze aufgrund ihrer starken Überparametrisierung nur schwer auf ressourcenbeschränkten Geräten einzusetzen. Daher wird Progressive Knowledge Distillation mit GANs (PKDGAN) vorgeschlagen, um kompakte und schnelle Neuartigkeitsdetektionsnetzwerke zu lernen. Das P-KDGAN stellt einen innovativen Ansatz dar, bei dem zwei Standard-GANs durch eine speziell entworfene Distillationsschwelle verbunden werden, um Wissen von der Lehr-GAN auf die Schüler-GAN zu übertragen. Der progressive Lernprozess der Wissensdistillation basiert auf einem zweistufigen Ansatz, der die Leistung der Schüler-GAN kontinuierlich verbessert und somit eine bessere Leistung als Ein-Schritt-Verfahren erzielt. Im ersten Schritt lernt die Schüler-GAN grundlegende Kenntnisse vollständig von der Lehr-GAN, wobei die vortrainierte Lehr-GAN mit fixierten Gewichten als Leitfaden dient. Im zweiten Schritt wird eine gemeinsame Feinabstimmung sowohl der wissensreichen Lehr- als auch der Schüler-GAN durchgeführt, um die Leistung und Stabilität weiter zu steigern. Die experimentellen Ergebnisse auf CIFAR-10, MNIST und FMNIST zeigen, dass unsere Methode die Leistung der Schüler-GAN um 2,44 %, 1,77 % und 1,73 % verbessert, während die Berechnungskomplexität um die Faktoren 24,45:1, 311,11:1 und 700:1 komprimiert wird.