HyperAIHyperAI

Command Palette

Search for a command to run...

P-KDGAN: Progressive Knowledge Distillation mit GANs für One-Class Novelty Detection

Zhiwei Zhang Shifeng Chen Lei Sun

Zusammenfassung

Ein-Klassen-Neuartigkeitsdetektion dient zur Identifizierung anomaler Instanzen, die nicht den erwarteten normalen Instanzen entsprechen. In diesem Artikel werden Generative Adversarial Networks (GANs) mit einem Encoder-Decoder-Encoder-Pipeline-Ansatz zur Detektion eingesetzt und erreichen dabei einen Stand der Technik. Allerdings sind tiefe neuronale Netze aufgrund ihrer starken Überparametrisierung nur schwer auf ressourcenbeschränkten Geräten einzusetzen. Daher wird Progressive Knowledge Distillation mit GANs (PKDGAN) vorgeschlagen, um kompakte und schnelle Neuartigkeitsdetektionsnetzwerke zu lernen. Das P-KDGAN stellt einen innovativen Ansatz dar, bei dem zwei Standard-GANs durch eine speziell entworfene Distillationsschwelle verbunden werden, um Wissen von der Lehr-GAN auf die Schüler-GAN zu übertragen. Der progressive Lernprozess der Wissensdistillation basiert auf einem zweistufigen Ansatz, der die Leistung der Schüler-GAN kontinuierlich verbessert und somit eine bessere Leistung als Ein-Schritt-Verfahren erzielt. Im ersten Schritt lernt die Schüler-GAN grundlegende Kenntnisse vollständig von der Lehr-GAN, wobei die vortrainierte Lehr-GAN mit fixierten Gewichten als Leitfaden dient. Im zweiten Schritt wird eine gemeinsame Feinabstimmung sowohl der wissensreichen Lehr- als auch der Schüler-GAN durchgeführt, um die Leistung und Stabilität weiter zu steigern. Die experimentellen Ergebnisse auf CIFAR-10, MNIST und FMNIST zeigen, dass unsere Methode die Leistung der Schüler-GAN um 2,44 %, 1,77 % und 1,73 % verbessert, während die Berechnungskomplexität um die Faktoren 24,45:1, 311,11:1 und 700:1 komprimiert wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
P-KDGAN: Progressive Knowledge Distillation mit GANs für One-Class Novelty Detection | Paper | HyperAI