StackGAN++ : Synthèse d'images réalistes avec des réseaux adverses génératifs empilés

Bien que les Réseaux de Génération Adversariaux (GANs) aient montré un succès remarquable dans diverses tâches, ils rencontrent encore des défis dans la génération d'images de haute qualité. Dans cet article, nous proposons les Réseaux de Génération Adversariaux Empilés (StackGAN), visant à générer des images photo-réalistes en haute résolution. Premièrement, nous proposons une architecture de réseau génératif adversarial en deux étapes, StackGAN-v1, pour la synthèse d'images à partir du texte. Le GAN de la première étape esquisse la forme et les couleurs primitives de l'objet en se basant sur la description textuelle fournie, produisant ainsi des images de faible résolution. Le GAN de la deuxième étape prend en entrée les résultats de la première étape et les descriptions textuelles, et génère des images de haute résolution avec des détails photo-réalistes.Deuxièmement, une architecture avancée de réseau génératif adversarial multi-étapes, StackGAN-v2, est proposée pour les tâches génératives conditionnelles et inconditionnelles. Notre StackGAN-v2 est composé de plusieurs générateurs et discriminateurs structurés en arbre ; des images à différentes échelles correspondant à la même scène sont générées par différentes branches de l'arbre. StackGAN-v2 montre un comportement d'entraînement plus stable que StackGAN-v1 en approximant conjointement plusieurs distributions. Des expériences approfondies démontrent que les réseaux génératifs adversariaux empilés proposés surpassent significativement d'autres méthodes d'avant-garde dans la génération d'images photo-réalistes.