GAN à classificateurs auxiliaires jumeaux

Les modèles génératifs conditionnels ont connu des progrès significatifs au cours des dernières années. Parmi les modèles conditionnels les plus populaires figure l’AC-GAN (Auxiliary Classifier Generative Adversarial Network), qui génère des images fortement discriminatives en étendant la fonction de perte du GAN par un classificateur auxiliaire. Toutefois, la diversité des échantillons générés par l’AC-GAN tend à diminuer lorsque le nombre de classes augmente. Dans cet article, nous identifions théoriquement la source de ce problème de faible diversité et proposons une solution pratique. Nous montrons que le classificateur auxiliaire dans l’AC-GAN impose une séparabilité parfaite, ce qui est désavantageux lorsque les supports des distributions de classes présentent un chevauchement important. Pour résoudre ce problème, nous proposons un nouveau modèle appelé TAC-GAN (Twin Auxiliary Classifiers Generative Adversarial Network), qui introduit un nouveau joueur interagissant avec les autres joueurs du GAN (le générateur et le discriminateur). Théoriquement, nous démontrons que notre TAC-GAN peut efficacement minimiser la divergence entre les distributions des données réelles et celles générées. Des résultats expérimentaux étendus montrent que notre TAC-GAN parvient à reproduire avec succès les distributions réelles des données sur des données simulées, et améliore de manière significative la diversité de la génération d’images conditionnelles par classe sur des jeux de données réels.