LT-GAN : GAN auto-supervisé avec détection de transformation latente

Les réseaux antagonistes génératifs (GAN) associés à des tâches d'apprentissage auto-supervisé ont démontré des résultats prometteurs dans la génération d'images inconditionnelle et semi-supervisée. Nous proposons une approche auto-supervisée (LT-GAN) visant à améliorer la qualité et la diversité des images générées en estimant la transformation induite par le GAN (c’est-à-dire la transformation appliquée aux images générées par la perturbation de l’espace latent du générateur). Plus précisément, étant donné deux paires d’images, chacune composée d’une image générée et de sa version transformée, la tâche d’apprentissage auto-supervisé consiste à déterminer si la transformation latente appliquée dans une paire est identique à celle de l’autre paire. Ainsi, cette perte auxiliaire incite le générateur à produire des images discernables par le réseau auxiliaire, ce qui favorise à son tour la synthèse d’images sémantiquement cohérentes par rapport aux transformations latentes. Nous démontrons l’efficacité de cette tâche prétexte en améliorant la qualité de génération d’images, mesurée par le FID, sur des modèles de pointe dans les configurations conditionnelle et inconditionnelle, sur les jeux de données CIFAR-10, CelebA-HQ et ImageNet. De plus, nous montrons empiriquement que LT-GAN améliore significativement l’édition contrôlée des images sur CelebA-HQ et ImageNet par rapport aux modèles de référence. Nous démontrons expérimentalement que notre tâche d’auto-supervision LT peut être efficacement combinée avec d’autres techniques d’entraînement de pointe pour obtenir des bénéfices supplémentaires. En conséquence, nous montrons que notre approche atteint un nouveau score d’état de l’art en FID de 9,8 pour la génération d’images conditionnelle sur CIFAR-10.