GANs N' Roses : Traduction d'images à images stable, contrôlable et diversifiée (fonctionne également pour les vidéos !)

Nous montrons comment apprendre une application qui prend un code de contenu, extrait d’une image de visage, et un code de style choisi aléatoirement, pour produire une image en style manga. Nous dérivons une perte adversaire à partir de définitions simples et efficaces du style et du contenu. Cette perte adversaire garantit que l’application est diversifiée — une large gamme d’images manga peut être générée à partir d’un seul code de contenu. Sous des hypothèses raisonnables, l’application n’est pas seulement diversifiée, mais elle représente également correctement la probabilité d’une image manga conditionnellement à une image de visage d’entrée. En contraste, les méthodes actuelles de génération multimodale ne parviennent pas à capturer les styles complexes présents dans les mangas. Des expériences quantitatives étendues soutiennent l’idée que l’application est correcte. Des résultats qualitatifs étendus montrent que la méthode peut générer une diversité bien plus grande de styles que les méthodes de l’état de l’art. Enfin, nous démontrons que notre formalisation du contenu et du style permet de réaliser une translation vidéo à vidéo sans jamais entraîner le modèle sur des vidéos.