Leçons tirées de l'entraînement des GAN sur des jeux de données artificiels

Les réseaux génératifs adversaires (GANs) ont connu des progrès considérables ces dernières années en ce qui concerne la synthèse d’images réalistes. Toutefois, ils sont souvent entraînés sur des jeux de données d’images comportant soit un nombre trop faible d’échantillons, soit un trop grand nombre de classes appartenant à des distributions de données différentes. En conséquence, les GANs sont sujets à un sous-apprentissage ou à un surapprentissage, ce qui rend leur analyse difficile et limitée. Afin de mener une étude approfondie des GANs tout en éliminant les interférences inutiles provenant des jeux de données, nous les entraînons sur des jeux de données artificiels, caractérisés par un nombre infini d’échantillons et des distributions de données réelles simples, de haute dimension et possédant des variétés structurées. En outre, les générateurs sont conçus de manière à garantir l’existence d’un ensemble optimal de paramètres. Expérimentalement, nous constatons que, sous diverses mesures de distance, le générateur échoue à apprendre ces paramètres optimaux au cours de l’entraînement GAN. Nous observons également que l’entraînement de mélanges de GANs conduit à une amélioration des performances plus importante que l’augmentation de la profondeur ou de la largeur du réseau, lorsque la complexité du modèle est suffisamment élevée. Nos résultats expérimentaux démontrent qu’un mélange de générateurs peut découvrir automatiquement différentes modes ou différentes classes dans un cadre non supervisé, ce que nous attribuons à la répartition des tâches de génération et de discrimination entre plusieurs générateurs et discriminateurs. À titre d’exemple de la généralisabilité de nos conclusions à des jeux de données réalistes, nous entraînons un mélange de GANs sur le jeu de données CIFAR-10, et notre méthode surpasse significativement l’état de l’art selon des métriques courantes, à savoir le score Inception (IS) et la distance de Fréchet Inception (FID).