Synthèse d’images sémantiques diverses par modélisation de la distribution de probabilité

La synthèse d’images sémantiques, qui consiste à convertir des plans sémantiques en images photoréalistes, représente un problème de correspondance un-à-plusieurs. Bien que des progrès remarquables aient été récemment accomplis, la synthèse sémantique diversifiée capable de produire efficacement des résultats multimodaux au niveau sémantique reste un défi. Dans ce travail, nous proposons un cadre novateur pour la synthèse d’images sémantiques diversifiées, en nous appuyant sur la distribution des classes sémantiques, permettant naturellement une génération diversifiée au niveau sémantique voire au niveau d’instance. Cela est réalisé en modélisant les paramètres de modulation conditionnels au niveau des classes sous forme de distributions de probabilité continues, au lieu de valeurs discrètes, et en échantillonnant les paramètres de modulation par instance via un échantillonnage stochastique adaptatif aux instances, cohérent à travers tout le réseau. Par ailleurs, nous introduisons une méthode de réaffectation du bruit préalable, basée sur des paramètres de perturbation linéaire encodés à partir de références appariées, afin de faciliter l’entraînement supervisé et de contrôler le style d’instance à partir d’exemples au moment de l’évaluation. Des expériences étendues sur plusieurs jeux de données démontrent que notre méthode atteint une diversité supérieure tout en offrant une qualité comparable aux méthodes de pointe. Le code sera disponible à l’adresse suivante : \url{https://github.com/tzt101/INADE.git}