Synthèse d'images interactives avec génération de disposition panoptique

La synthèse d'images interactives à partir d'une entrée guidée par l'utilisateur est une tâche complexe lorsque les utilisateurs souhaitent contrôler la structure de la scène d'une image générée de manière simple. Bien que des progrès remarquables aient été réalisés dans les approches de synthèse d'images basées sur le layout, pour obtenir une image fausse mais réaliste en scène interactive, les méthodes existantes nécessitent des entrées à haute précision, qui peuvent nécessiter plusieurs ajustements et ne sont pas conviviales pour les utilisateurs novices. Lorsque le placement des boîtes englobantes est sujet à des perturbations, les modèles basés sur le layout souffrent de « régions manquantes » dans les layouts sémantiques construits, ce qui entraîne des artefacts indésirables dans les images générées. Dans cette étude, nous proposons les Réseaux Adverses Générateurs de Layout Panoptique (PLGAN) pour relever ce défi. Le PLGAN utilise la théorie panoptique qui distingue les catégories d'objets entre « stuff » (éléments avec des frontières amorphes) et « things » (objets avec des formes bien définies), de sorte que les layouts de stuff et d'instances soient construits par des branches distinctes puis fusionnés en layouts panoptiques. En particulier, les layouts de stuff peuvent prendre des formes amorphes et combler les régions manquantes laissées par les layouts d'instances. Nous comparons expérimentalement notre PLGAN avec des modèles basés sur le layout de pointe sur les jeux de données COCO-Stuff, Visual Genome et Landscape. Les avantages du PLGAN sont non seulement démontrés visuellement mais également vérifiés quantitativement en termes de score d'inception, distance Fréchet d'inception, score de précision en classification et couverture.