P-KDGAN : Distillation progressive de connaissances avec des GANs pour la détection de nouveauté à une seule classe

La détection de nouveautés à une seule classe vise à identifier des instances anormales qui s'écartent des instances normales attendues. Dans cet article, les réseaux antagonistes génératifs (GANs) basés sur une architecture encodeur-décodeur-encodeur sont utilisés pour la détection et atteignent des performances de pointe. Toutefois, les réseaux neuronaux profonds sont généralement trop sur-paramétrés pour être déployés sur des dispositifs à ressources limitées. Ainsi, nous proposons une méthode appelée PKDGAN (Progressive Knowledge Distillation with GANs) afin d’apprendre des réseaux de détection de nouveautés compacts et rapides. Le PKDGAN constitue une approche novatrice consistant à relier deux GANs standards via une perte de distillation conçue spécifiquement pour transférer les connaissances du modèle enseignant vers le modèle étudiant. L’apprentissage progressif par distillation de connaissances suit une approche en deux étapes, qui améliore continuellement les performances du GAN étudiant et obtient de meilleurs résultats que les méthodes à une seule étape. Dans la première étape, le GAN étudiant acquiert les connaissances fondamentales entièrement à partir du GAN enseignant pré-entraîné, dont les poids sont fixés. Dans la deuxième étape, une phase de fine-tuning conjointe est appliquée aux GANs enseignant et étudiant, afin d’améliorer davantage leurs performances et leur stabilité. Les résultats expérimentaux sur les jeux de données CIFAR-10, MNIST et FMNIST montrent que notre méthode améliore les performances du GAN étudiant respectivement de 2,44 %, 1,77 % et 1,73 %, tout en réduisant la charge computationnelle selon les rapports 24,45:1, 311,11:1 et 700:1.