Réseaux de Génération Adversariaux du Premier Ordre

Les GANs (Generative Adversarial Networks) excellent dans l'apprentissage de distributions à haute dimension, mais elles peuvent mettre à jour les paramètres du générateur dans des directions qui ne correspondent pas à la direction de descente la plus raide de l'objectif. Des exemples notables de directions d'update problématiques incluent celles utilisées dans le GAN original de Goodfellow et le WGAN-GP (Wasserstein Generative Adversarial Network with Gradient Penalty). Pour décrire formellement une direction d'update optimale, nous introduisons un cadre théorique permettant d'établir des exigences sur la divergence et la méthode correspondante pour déterminer une direction d'update, ces exigences garantissant des mises à jour par mini-lot non biaisées dans la direction de descente la plus raide. Nous proposons une nouvelle divergence qui approche la distance de Wasserstein tout en régularisant l'information d'ordre un du critique. Associée à une direction d'update appropriée, cette divergence satisfait aux exigences pour des mises à jour non biaisées dans la direction de descente la plus raide. Nous vérifions notre méthode, appelée First Order GAN, par la génération d'images sur les jeux de données CelebA, LSUN et CIFAR-10, et établissons un nouveau niveau d'excellence sur la tâche de génération linguistique du jeu de données One Billion Word. Le code pour reproduire les expériences est disponible.