ContraGAN : Apprentissage par contraste pour la génération d’images conditionnelles

La génération d’images conditionnelles consiste à produire des images diversifiées en utilisant des informations de label de classe. Bien que de nombreux réseaux adversariaires génératifs (GAN) conditionnels aient montré des résultats réalistes, ces méthodes considèrent uniquement les relations appariées entre l’embedding d’une image et l’embedding du label correspondant (relations données-classes) comme pertes de conditionnement. Dans cet article, nous proposons ContraGAN, une méthode qui prend en compte à la fois les relations entre plusieurs embeddings d’images au sein d’un même lot (relations données- données) et les relations données-classes, en utilisant une perte contrastive conditionnelle. Le discriminateur de ContraGAN évalue l’authenticité des échantillons donnés tout en minimisant un objectif contrastif afin d’apprendre les relations entre les images d’entraînement. Parallèlement, le générateur cherche à produire des images réalistes capables de tromper l’authenticité tout en présentant une faible perte contrastive. Les résultats expérimentaux montrent que ContraGAN surpasser les modèles de pointe de 7,3 % et 7,7 % respectivement sur les jeux de données Tiny ImageNet et ImageNet. En outre, nous démontrons expérimentalement que l’apprentissage contrastif contribue à atténuer le surajustement du discriminateur. Pour assurer une comparaison équitable, nous avons réimplémenté douze GAN de pointe à l’aide de la bibliothèque PyTorch. Le package logiciel est disponible à l’adresse suivante : https://github.com/POSTECH-CVLab/PyTorch-StudioGAN.