Génération d'images non supervisée inter-domaines

Nous étudions le problème de transfert d'un échantillon d'un domaine à un échantillon analogue dans un autre domaine. Étant donnés deux domaines apparentés, S et T, nous souhaitons apprendre une fonction générative G qui mappe un échantillon d'entrée du domaine S au domaine T, de telle manière que la sortie d'une fonction donnée f, acceptant des entrées dans l'un ou l'autre des domaines, reste inchangée. Outre la fonction f, les données d'entraînement sont non supervisées et comprennent un ensemble d'échantillons provenant de chaque domaine. Le réseau de transfert de domaine (Domain Transfer Network, DTN) que nous présentons utilise une fonction de perte composite qui inclut une perte GAN multiclasse, une composante de constance f et une composante régularisante encourageant G à mapper les échantillons du domaine T sur eux-mêmes. Nous appliquons notre méthode à des domaines visuels tels que les chiffres et les images de visages et démontrons sa capacité à générer des images convaincantes de nouvelles entités jamais vues auparavant tout en préservant leur identité.