EAGAN : Recherche d'architecture évolutive en deux étapes efficace pour les GANs

Les réseaux antagonistes génératifs (GANs) se sont avérés efficaces dans les tâches de génération d’images. Toutefois, l’entraînement des GANs est intrinsèquement instable. Bien que de nombreuses études tentent de stabiliser ce processus en modifiant manuellement l’architecture des GANs, cela requiert une expertise considérable. La recherche d’architecture neuronale (NAS) est devenue une solution attrayante pour découvrir automatiquement des GANs. Les premiers approches NAS-GAN se limitaient à la recherche du générateur afin de réduire la complexité de recherche, mais conduisaient à des GANs sous-optimaux. Certaines études récentes tentent de rechercher à la fois le générateur (G) et le discriminateur (D), mais elles souffrent de l’instabilité inhérente à l’entraînement des GANs. Pour atténuer cette instabilité, nous proposons un cadre efficace de NAS basé sur un algorithme évolutionnaire à deux étapes, nommé EAGAN. Nous décomposons la recherche de G et D en deux étapes distinctes : dans la première étape, le générateur est cherché avec un discriminateur fixe, en adoptant une stratégie d’entraînement « plusieurs vers un » ; dans la deuxième étape, le discriminateur est optimisé avec le meilleur générateur identifié à l’étape 1, en appliquant une stratégie d’entraînement « un vers un » ainsi qu’une stratégie de réinitialisation des poids afin d’améliorer la stabilité de l’entraînement. Les deux étapes utilisent la méthode de tri non dominé pour produire des architectures situées sur le front de Pareto, sous plusieurs objectifs (taille du modèle, score Inception (IS), distance de Fréchet Inception (FID)). EAGAN est appliqué à la tâche de génération d’images sans condition et permet de finaliser la recherche de manière efficace sur le jeu de données CIFAR-10 en seulement 1,2 jour de calcul GPU. Les GANs découverts atteignent des résultats compétitifs sur CIFAR-10 (IS = 8,81 ± 0,10, FID = 9,91) et surpassent les approches NAS-GAN antérieures sur STL-10 (IS = 10,44 ± 0,087, FID = 22,18). Code source : https://github.com/marsggbo/EAGAN.