HyperAIHyperAI

Command Palette

Search for a command to run...

P-KDGAN : Distillation progressive de connaissances avec des GANs pour la détection de nouveauté à une seule classe

Zhiwei Zhang Shifeng Chen Lei Sun

Résumé

La détection de nouveautés à une seule classe vise à identifier des instances anormales qui s'écartent des instances normales attendues. Dans cet article, les réseaux antagonistes génératifs (GANs) basés sur une architecture encodeur-décodeur-encodeur sont utilisés pour la détection et atteignent des performances de pointe. Toutefois, les réseaux neuronaux profonds sont généralement trop sur-paramétrés pour être déployés sur des dispositifs à ressources limitées. Ainsi, nous proposons une méthode appelée PKDGAN (Progressive Knowledge Distillation with GANs) afin d’apprendre des réseaux de détection de nouveautés compacts et rapides. Le PKDGAN constitue une approche novatrice consistant à relier deux GANs standards via une perte de distillation conçue spécifiquement pour transférer les connaissances du modèle enseignant vers le modèle étudiant. L’apprentissage progressif par distillation de connaissances suit une approche en deux étapes, qui améliore continuellement les performances du GAN étudiant et obtient de meilleurs résultats que les méthodes à une seule étape. Dans la première étape, le GAN étudiant acquiert les connaissances fondamentales entièrement à partir du GAN enseignant pré-entraîné, dont les poids sont fixés. Dans la deuxième étape, une phase de fine-tuning conjointe est appliquée aux GANs enseignant et étudiant, afin d’améliorer davantage leurs performances et leur stabilité. Les résultats expérimentaux sur les jeux de données CIFAR-10, MNIST et FMNIST montrent que notre méthode améliore les performances du GAN étudiant respectivement de 2,44 %, 1,77 % et 1,73 %, tout en réduisant la charge computationnelle selon les rapports 24,45:1, 311,11:1 et 700:1.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp