Command Palette
Search for a command to run...
Synthèse d'images haute résolution et manipulation sémantique à l'aide de GAN conditionnels
Synthèse d'images haute résolution et manipulation sémantique à l'aide de GAN conditionnels
Résumé
Nous présentons une nouvelle méthode de synthèse d’images haute résolution et hautement réalistes à partir de cartes sémantiques, basée sur des réseaux génératifs adverses conditionnels (conditional GANs). Bien que les GANs conditionnels aient permis diverses applications, leurs résultats sont souvent limités à une faible résolution et encore éloignés de la réalité. Dans ce travail, nous générons des images de taille 2048×1024 aux effets visuels remarquables, grâce à une nouvelle fonction de perte adversaire, ainsi qu’à de nouvelles architectures innovantes pour le générateur et le discriminateur à plusieurs échelles. En outre, nous étendons notre cadre à une manipulation visuelle interactive en introduisant deux fonctionnalités supplémentaires. Premièrement, nous intégrons des informations de segmentation d’instances d’objets, ce qui permet des manipulations d’objets telles que leur suppression/ajout ou le changement de catégorie. Deuxièmement, nous proposons une méthode permettant de générer des résultats diversifiés à partir d’un même input, offrant ainsi aux utilisateurs la possibilité d’éditer interactivement l’apparence des objets. Des études d’opinion humaine démontrent que notre méthode surpasse significativement les approches existantes, marquant une avancée notable tant en qualité qu’en résolution dans le domaine de la synthèse et de l’édition d’images profondes.