SketchyCOCO : Génération d'images à partir de croquis de scène libre

Nous présentons la première méthode pour la génération automatique d'images à partir de croquis libres au niveau des scènes. Notre modèle permet une génération d'images contrôlable en spécifiant l'objectif de synthèse par le biais de croquis libres. La contribution principale est un réseau de neurones génératif adversarial (Generative Adversarial Network) appelé EdgeGAN, qui utilise un vecteur d'attributs comme pont, et qui supporte la génération de contenu d'image à l'échelle des objets avec une haute qualité visuelle sans utiliser des croquis libres comme données d'entraînement. Nous avons construit un grand ensemble de données composite appelé SketchyCOCO pour soutenir et évaluer cette solution. Nous validons notre approche sur les tâches de génération d'images à l'échelle des objets et des scènes sur SketchyCOCO. Par le biais de résultats quantitatifs, qualitatifs, d'évaluations humaines et d'études ablatives, nous démontrons la capacité de notre méthode à générer des images réalistes et complexes au niveau des scènes à partir de divers croquis libres.