GAN conditionné par l'instance

Les réseaux antagonistes génératifs (GAN) sont capables de générer des images presque photoréalistes dans des domaines restreints, tels que les visages humains. Toutefois, la modélisation de distributions complexes sur des jeux de données comme ImageNet ou COCO-Stuff demeure un défi dans les cadres non conditionnels. Dans cet article, nous nous inspirons des techniques d’estimation de densité par noyau et proposons une approche non paramétrique pour modéliser les distributions de jeux de données complexes. Nous partitionnons la variété des données en un mélange de voisinages superposés, chacun décrit par un point de données et ses voisins les plus proches, puis introduisons un modèle appelé GAN conditionné par instance (IC-GAN), qui apprend la distribution autour de chaque point de données. Les résultats expérimentaux sur ImageNet et COCO-Stuff montrent que IC-GAN offre une amélioration significative par rapport aux modèles non conditionnels ainsi qu’aux méthodes de partitionnement non supervisé. De plus, nous démontrons que IC-GAN peut être facilement transféré à des jeux de données non vus durant l’entraînement en ne changeant que les instances de conditionnement, tout en générant encore des images réalistes. Enfin, nous étendons IC-GAN au cas conditionnel par classe, et montrons une génération contrôlable au niveau sémantique ainsi que des résultats quantitatifs compétitifs sur ImageNet ; en outre, IC-GAN surpasse BigGAN sur ImageNet-LT. Le code et les modèles entraînés permettant de reproduire les résultats rapportés sont disponibles à l’adresse suivante : https://github.com/facebookresearch/ic_gan.