TextureGAN : Contrôle de la synthèse d'images profondes avec des patches de texture

Dans cet article, nous examinons la synthèse d'images profondes guidée par des esquisses, des couleurs et des textures. Les méthodes précédentes de synthèse d'images pouvaient être contrôlées par des esquisses et des traits de couleur, mais nous sommes les premiers à étudier le contrôle par la texture. Nous permettons à l'utilisateur de placer un patch de texture sur une esquisse à des emplacements et des échelles arbitraires pour contrôler la texture souhaitée dans l'image de sortie. Notre réseau génératif apprend à synthétiser des objets cohérents avec ces suggestions texturales. Pour atteindre cet objectif, nous développons une perte locale de texture en complément des pertes adversariales et de contenu pour entraîner le réseau génératif. Nous menons des expériences en utilisant des esquisses générées à partir d'images réelles et des textures échantillonnées à partir d'une base de données texturale distincte, et les résultats montrent que notre algorithme proposé est capable de générer des images plausibles qui respectent les contrôles utilisateur. Des études ablatives démontrent que notre pipeline proposé peut générer des images plus réalistes qu'en adaptant directement les méthodes existantes.