Réseaux antagonistes génératifs à pyramide double pour la synthèse d'images sémantiques

Le but de la synthèse d’images sémantiques consiste à générer des images photoréalistes à partir de cartes d’étiquettes sémantiques. Cette tâche est particulièrement pertinente pour des applications telles que la génération de contenu et l’édition d’images. Toutefois, les approches actuelles les plus avancées peinent encore à produire des objets réalistes à différentes échelles dans les images. En particulier, les petits objets ont tendance à s’estomper, tandis que les grands objets sont souvent générés sous la forme de collages de patchs. Afin de remédier à ce problème, nous proposons un réseau génératif adversarial à pyramide double (DP-GAN), qui apprend simultanément la conditionnalité des blocs de normalisation adaptative spatialement à toutes les échelles, de manière à exploiter de manière bidirectionnelle les informations d’échelle, tout en unifiant la supervision à différentes échelles. Nos résultats qualitatifs et quantitatifs montrent que l’approche proposée génère des images dans lesquelles les petits et grands objets apparaissent plus réalistes que ceux produits par les méthodes de pointe actuelles.