GAN auto-supervisé : analyse et amélioration via un jeu minimax multi-classes

L'apprentissage auto-supervisé (SS) est une approche puissante pour l'apprentissage de représentations à partir de données non étiquetées. Récemment, il a été appliqué à l'entraînement des réseaux adverses génératifs (GAN). Plus précisément, des tâches SS ont été proposées pour atténuer le problème du "forgetting catastrophique" dans le discriminateur GAN. Dans ce travail, nous menons une analyse approfondie afin de comprendre comment les tâches SS interagissent avec l'apprentissage du générateur. À partir de cette analyse, nous identifions des faiblesses inhérentes aux tâches SS, qui permettent à un générateur fortement collapsé en modes de réussir ces tâches. Pour remédier à ces limites, nous proposons de nouvelles tâches SS fondées sur un jeu minimax à plusieurs classes. La compétition entre nos tâches SS dans ce cadre encourage le générateur à apprendre la distribution des données et à produire des échantillons diversifiés. Nous fournissons une analyse théorique et empirique pour soutenir que nos tâches SS offrent de meilleures propriétés de convergence. Nous avons mené des expériences pour intégrer nos tâches SS dans deux modèles de base GAN distincts. Notre approche atteint des scores FID de pointe sur les jeux de données CIFAR-10, CIFAR-100, STL-10, CelebA, ImageNet $32\times32$ et Stacked-MNIST, surpassant significativement les méthodes existantes dans certains cas. Notre modèle GAN sans condition approche les performances d’un GAN conditionnel sans utiliser de données étiquetées. Code disponible : https://github.com/tntrung/msgan