Discriminateur pondéré adaptatif pour l'entraînement des réseaux adverses génératifs

Le réseau adversaire génératif (GAN) est devenu l’un des modèles de réseaux de neurones les plus importants dans le domaine de l’apprentissage automatique non supervisé classique. Une variété de fonctions de perte pour le discriminateur a été développée afin d’entraîner les discriminateurs des GAN, toutes partageant une structure commune : une somme de pertes réelles et de pertes falsifiées, dépendant respectivement des données réelles et des données générées. Un défi lié à la somme pondérée de manière égale de ces deux pertes réside dans le fait que l’entraînement peut bénéficier à l’une tout en nuisant à l’autre, ce que nous démontrons entraîner une instabilité et un phénomène de collapse de modes. Dans cet article, nous introduisons une nouvelle famille de fonctions de perte pour le discriminateur basée sur une somme pondérée des parties réelle et fausse, que nous appelons fonctions de perte à poids adaptatif ou fonctions de perte aw. En exploitant les gradients des parties réelle et fausse de la perte, nous pouvons choisir de manière adaptative les poids afin d’entraîner le discriminateur dans une direction favorisant la stabilité du GAN. Notre méthode peut être potentiellement appliquée à tout modèle de discriminateur dont la fonction de perte s’exprime comme une somme des parties réelle et fausse. Des expériences ont validé l’efficacité de nos fonctions de perte sur une tâche de génération d’images sans condition, améliorant significativement les résultats de base sur les jeux de données CIFAR-10, STL-10 et CIFAR-100 en termes de score Inception et de FID.