Amélioration de l'entraînement des GANs de Wasserstein

Les réseaux de neurones adverses génératifs (GANs) sont des modèles génératifs puissants, mais ils souffrent d'une instabilité lors de l'entraînement. Le Wasserstein GAN (WGAN) récemment proposé fait des progrès vers une entraînement stable des GANs, mais peut parfois encore générer des échantillons de faible qualité ou ne pas converger. Nous constatons que ces problèmes sont souvent dus à l'utilisation du.clipage des poids dans le WGAN pour imposer une contrainte lipschitzienne au critiqueur, ce qui peut conduire à un comportement indésirable. Nous proposons une alternative au clipage des poids : pénaliser la norme du gradient du critiqueur par rapport à son entrée. Notre méthode proposée se montre supérieure au WGAN standard et permet une entraînement stable d'une large variété d'architectures GAN avec presque aucun réglage d'hyperparamètres, y compris les ResNets à 101 couches et les modèles de langage sur des données discrètes. Nous obtenons également des générations de haute qualité sur CIFAR-10 et LSUN bedrooms.