Réseaux antagonistes génératifs prédéfinis

Les réseaux antagonistes génératifs (GAN) constituent une approche puissante pour l'apprentissage non supervisé. Ils ont atteint des performances de pointe dans le domaine des images. Toutefois, les GAN souffrent de deux limites principales : ils ont tendance à apprendre des distributions à faible support — un phénomène connu sous le nom de « collapse de modes » — et ils ne garantissent pas l'existence d'une densité de probabilité, ce qui rend impossible l'évaluation de la généralisation par le biais de la log-vraisemblance prédictive. Dans cet article, nous proposons le GAN prescrit (PresGAN) afin de remédier à ces défauts. Les PresGAN ajoutent un bruit au sortie d'un réseau de densité et optimisent une perte adversarielle régularisée par l'entropie. Ce bruit ajouté permet d'obtenir des approximations tractables de la log-vraisemblance prédictive et stabilise le processus d'entraînement. Le régulariseur d'entropie encourage les PresGAN à capturer tous les modes de la distribution des données. L'ajustement des PresGAN nécessite le calcul de gradients intractables provenant du terme de régularisation par l'entropie ; les PresGAN contournent cette intractabilité en utilisant des estimations stochastiques non biaisées. Nous évaluons les PresGAN sur plusieurs jeux de données et constatons qu'ils atténuent efficacement le collapse de modes et génèrent des échantillons de haute qualité perceptuelle. Nous observons également que les PresGAN réduisent l'écart de performance en termes de log-vraisemblance prédictive entre les GAN traditionnels et les autoencodeurs variationnels (VAE).