Amélioration des GANs grâce à la Recherche d'Architecture Neuronale MMD, à la Fonction d'Activation PMish et à la Décomposition par Rang Adaptatif

Les Réseaux antagonistes génératifs (GANs) ont suscité un intérêt considérable en raison de leur capacité remarquable à générer des images de haute qualité et réalistes à partir d’une distribution de données souhaitée. Cette recherche présente des avancées dans les GANs en proposant une fonction d’activation améliorée, une nouvelle stratégie d’entraînement et une méthode de décomposition par rang adaptative pour comprimer le réseau. La fonction d’activation proposée, nommée Parametric Mish (PMish), ajuste automatiquement un paramètre entraînable afin de contrôler la régularité et la forme de la fonction d’activation. Notre méthode utilise une Recherche d’Architecture de Réseau (NAS) pour découvrir l’architecture optimale pour la génération d’images, tout en appliquant une perte répulsive basée sur le Maximum Mean Discrepancy (MMD) pour l’entraînement antagoniste. La stratégie d’entraînement novatrice améliore les performances en augmentant progressivement la borne supérieure de la perte répulsive MMD-GAN bornée. Enfin, la méthode proposée de Décomposition par Rang Adaptative (ARD) réduit la complexité du réseau avec un impact minimal sur ses performances de génération, permettant ainsi un déploiement efficace sur des plateformes à ressources limitées. L’efficacité de ces améliorations a été rigoureusement évaluée sur des jeux de données standards tels que CIFAR-10, CIFAR-100, STL-10 et CelebA, où des améliorations significatives par rapport aux techniques existantes ont été démontrées. Le code de mise en œuvre est disponible à l’adresse suivante : https://github.com/PrasannaPulakurthi/MMD-PMish-NAS