InstaGAN : Traduction d'images tenant compte des instances

La traduction d'images non supervisée a suscité une attention considérable en raison des récentes avancées impressionnantes basées sur les réseaux de neurones adverses génératifs (GANs). Cependant, les méthodes précédentes échouent souvent dans des cas difficiles, en particulier lorsque l'image contient plusieurs instances cibles et que la tâche de traduction implique des changements importants de forme, par exemple, la traduction de pantalons en jupes dans les images de mode. Pour résoudre ces problèmes, nous proposons une nouvelle méthode appelée GAN sensible aux instances (InstaGAN), qui intègre des informations d'instance (par exemple, des masques de segmentation d'objets) et améliore la transfiguration multi-instance. La méthode proposée traduit à la fois une image et l'ensemble correspondant d'attributs d'instance tout en préservant la propriété d'invariance par permutation des instances. À cette fin, nous introduisons une perte de conservation du contexte qui encourage le réseau à apprendre la fonction identité en dehors des instances cibles. Nous proposons également une technique d'inférence/entraînement par mini-lot séquentiel qui permet de traiter plusieurs instances avec une mémoire GPU limitée et améliore la capacité du réseau à généraliser pour plusieurs instances. Notre évaluation comparative démontre l'efficacité de la méthode proposée sur différents jeux de données d'images, en particulier dans les cas difficiles mentionnés précédemment. Le code et les résultats sont disponibles sur https://github.com/sangwoomo/instagan.