Réseaux antagonistes génératifs locaux spécifiques par classe et globaux au niveau de l’image pour la génération de scènes guidée par le sens

Dans cet article, nous abordons la tâche de génération de scènes guidée par le sens. Un défi ouvert dans la génération de scènes réside dans la difficulté de produire des objets de petite taille et des textures locales détaillées, un phénomène largement observé dans les méthodes de génération à l’échelle globale de l’image. Pour relever ce défi, nous proposons d’apprendre la génération de scènes dans un contexte local, et concevons en conséquence un réseau génératif spécifique à la classe basé sur un cadre local, guidé par des cartes sémantiques. Ce réseau construit et apprend séparément des sous-générateurs concentrés sur la génération de différentes catégories d’objets, permettant ainsi de fournir davantage de détails dans la scène. Afin d’apprendre des représentations de caractéristiques spécifiques à la classe plus discriminatives pour la génération locale, nous proposons également un nouveau module de classification. Pour tirer parti des avantages des approches globales à l’échelle de l’image et des approches locales spécifiques à la classe, nous concevons un réseau de génération conjointe intégrant un module de fusion par attention et une structure à double discriminateur. Des expériences étendues sur deux tâches de génération d’images de scènes montrent une performance de génération supérieure du modèle proposé. Des résultats de pointe sont atteints avec une marge significative sur les deux tâches ainsi que sur des benchmarks publics exigeants. Le code source et les modèles entraînés sont disponibles à l’adresse suivante : https://github.com/Ha0Tang/LGGAN.