Redémarrer l’ACGAN : GANs classificateurs auxiliaires avec une formation stable

Les réseaux antagonistes génératifs conditionnels (cGAN) produisent des images réalistes en intégrant des informations de classe dans le cadre des GAN. Bien qu’un des cGAN les plus populaires soit le GAN à classificateur auxiliaire utilisant une perte d’entropie croisée softmax (ACGAN), il est largement reconnu que l’entraînement d’ACGAN devient difficile lorsque le nombre de classes dans le jeu de données augmente. De plus, ACGAN a tendance à générer des échantillons facilement classifiables, manquant ainsi de diversité. Dans cet article, nous proposons deux solutions pour remédier à ces limitations. Premièrement, nous identifions que l’explosion de gradients dans le classificateur peut entraîner un effondrement indésirable au début de l’entraînement, et montrons que projeter les vecteurs d’entrée sur une hypersphère unité permet de résoudre ce problème. Deuxièmement, nous introduisons une nouvelle perte d’entropie croisée entre données (Data-to-Data Cross-Entropy loss, D2D-CE), conçue pour exploiter les informations relationnelles présentes dans les jeux de données étiquetés par classe. Sur cette base, nous proposons le Rebooted Auxiliary Classifier Generative Adversarial Network (ReACGAN). Les résultats expérimentaux démontrent que ReACGAN atteint des performances de génération de l’état de l’art sur les jeux de données CIFAR10, Tiny-ImageNet, CUB200 et ImageNet. Nous montrons également que ReACGAN bénéficie des augmentations différentiables, et que la perte D2D-CE s’intègre harmonieusement avec l’architecture StyleGAN2. Les poids du modèle ainsi qu’un package logiciel offrant des implémentations de cGAN représentatifs et tous les expérimentations présentées dans cet article sont disponibles à l’adresse suivante : https://github.com/POSTECH-CVLab/PyTorch-StudioGAN.