Réseaux de Génération Adversariaux Couplés

Nous proposons un réseau de neurones génératif adversarial couplé (CoGAN) pour l'apprentissage d'une distribution conjointe d'images multidomaines. Contrairement aux approches existantes, qui nécessitent des paires d'images correspondantes dans différents domaines dans l'ensemble d'entraînement, le CoGAN peut apprendre une distribution conjointe sans aucune paire d'images correspondantes. Il peut apprendre une distribution conjointe à partir de simples échantillons tirés des distributions marginales. Ceci est réalisé en imposant une contrainte de partage de poids qui limite la capacité du réseau et favorise une solution de distribution conjointe plutôt qu'une solution basée sur le produit des distributions marginales. Nous appliquons le CoGAN à plusieurs tâches d'apprentissage de distribution conjointe, notamment l'apprentissage d'une distribution conjointe d'images couleur et profondeur, ainsi que l'apprentissage d'une distribution conjointe d'images faciales avec différentes attributs. Pour chaque tâche, il réussit à apprendre la distribution conjointe sans aucune paire d'images correspondantes. Nous démontrons également ses applications à l'adaptation de domaine et à la transformation d'image.