Augmentation différentiable pour une formation efficace en données des GAN

Les performances des réseaux antagonistes génératifs (GANs) se dégradent fortement lorsqu’ils sont entraînés sur une quantité limitée de données. Cela est principalement dû au fait que le discriminateur mémorise l’ensemble d’entraînement exact. Pour y remédier, nous proposons une méthode simple appelée DiffAugment, qui améliore l’efficacité des données dans les GANs en appliquant diverses transformations différentiables aux échantillons réels et aux échantillons générés. Les tentatives antérieures visant à augmenter directement les données d’entraînement modifient la distribution des images réelles, ce qui n’apporte que des bénéfices limités ; en revanche, DiffAugment permet d’appliquer l’augmentation différentiable aux échantillons générés, stabilisant ainsi efficacement l’entraînement et favorisant une meilleure convergence. Des expériences montrent des améliorations constantes de notre méthode sur diverses architectures de GANs et fonctions de perte, tant pour la génération non conditionnelle que conditionnelle par classe. Grâce à DiffAugment, nous atteignons un score FID de 6,80 (avec un IS de 100,8) sur ImageNet à 128×128, ainsi qu’une réduction de 2 à 4 fois du FID avec seulement 1 000 images sur FFHQ et LSUN. De plus, en utilisant uniquement 20 % des données d’entraînement, nous pouvons atteindre les performances optimales sur CIFAR-10 et CIFAR-100. Enfin, notre méthode permet de générer des images de haute fidélité à partir de seulement 100 images, sans pré-entraînement, tout en étant compétitive avec les algorithmes d’apprentissage par transfert existants. Le code est disponible à l’adresse suivante : https://github.com/mit-han-lab/data-efficient-gans.