Amélioration de l'entraînement MMD-GAN avec une fonction de perte répulsive

Les réseaux de neurones génératifs adverses (GANs) sont largement utilisés pour apprendre le processus d'échantillonnage des données, et leurs performances peuvent dépendre fortement des fonctions de perte, étant donné un budget de calcul limité. Cette étude reconsidère le MMD-GAN qui utilise la divergence moyenne maximale (MMD) comme fonction de perte pour les GAN et apporte deux contributions. Premièrement, nous soutenons que la fonction de perte MMD existante peut décourager l'apprentissage des détails fins dans les données car elle tente de réduire les sorties du discriminateur pour les données réelles. Pour résoudre ce problème, nous proposons une fonction de perte répulsive visant à apprendre activement les différences entre les données réelles en réorganisant simplement les termes dans la MMD. Deuxièmement, inspirés par la perte charnière, nous proposons un noyau gaussien borné pour stabiliser l'entraînement du MMD-GAN avec la fonction de perte répulsive. Les méthodes proposées sont appliquées aux tâches de génération d'images non supervisées sur les jeux de données CIFAR-10, STL-10, CelebA et LSUN bedroom. Les résultats montrent que la fonction de perte répulsive améliore considérablement la fonction de perte MMD sans coût computationnel supplémentaire et surpasse d'autres fonctions de perte représentatives. Les méthodes proposées atteignent un score FID (Fréchet Inception Distance) de 16,21 sur le jeu de données CIFAR-10 en utilisant un seul réseau DCGAN (Deep Convolutional Generative Adversarial Network) avec normalisation spectrale.