Il vous suffit de supervision adversaire pour la synthèse d’images sémantiques

Malgré leurs récents succès, les modèles GAN pour la synthèse d’images sémantiques souffrent encore d’une qualité d’image médiocre lorsqu’ils sont entraînés uniquement avec une supervision adversariale. Historiquement, l’ajout de la perte perceptuelle basée sur VGG a permis de surmonter ce problème, améliorant significativement la qualité de la synthèse, mais en même temps freinant l’évolution des modèles GAN pour la synthèse d’images sémantiques. Dans ce travail, nous proposons un nouveau modèle GAN simplifié, qui nécessite uniquement une supervision adversariale pour produire des résultats de haute qualité. Nous redéfinissons le discriminateur comme un réseau de segmentation sémantique, en utilisant directement les cartes d’étiquettes sémantiques fournies comme vérité terrain pour l’entraînement. En offrant une supervision renforcée au discriminateur ainsi qu’au générateur grâce à un retour d’information du discriminateur sensible à la spatialité et à la sémantique, nous parvenons à synthétiser des images de fidélité supérieure, mieux alignées sur leurs cartes d’étiquettes d’entrée, rendant ainsi la perte perceptuelle superflue. En outre, nous permettons une synthèse d’images multi-modales de haute qualité grâce à un échantillonnage global et local d’un tenseur bruit 3D injecté dans le générateur, ce qui permet des modifications complètes ou partielles de l’image. Nous montrons que les images synthétisées par notre modèle sont plus diversifiées et reproduisent plus fidèlement les distributions de couleur et de texture des images réelles. Nous obtenons une amélioration moyenne de 6 points de FID et de 5 points de mIoU par rapport à l’état de l’art sur différentes bases de données, en n’utilisant que la supervision adversariale.