Command Palette
Search for a command to run...
Le GAN est mort ; vive le GAN ! Une base moderne pour les GAN
Le GAN est mort ; vive le GAN ! Une base moderne pour les GAN
Yiwen Huang Aaron Gokaslan Volodymyr Kuleshov James Tompkin
Résumé
On avance fréquemment l’idée selon laquelle les GAN sont difficiles à entraîner, et les architectures GAN proposées dans la littérature regorgent de « ruses empiriques ». Nous fournissons des preuves contredisant cette affirmation et proposons une base moderne pour les GAN selon une approche plus rigoureuse. Premièrement, nous dérivons une perte de GAN relativiste régularisée bien comportée, qui résout les problèmes de perte de modes et de non-convergence, auparavant traités à l’aide d’un ensemble de trucs ad hoc. Nous analysons mathématiquement cette perte et prouvons qu’elle garantit une convergence locale, contrairement à la plupart des pertes relativistes existantes. Deuxièmement, cette nouvelle perte nous permet d’éliminer tous les trucs empiriques et de remplacer les architectures anciennes couramment utilisées dans les GAN par des architectures modernes. En prenant StyleGAN2 comme exemple, nous proposons une voie d’optimisation et de modernisation qui aboutit à une nouvelle base minimaliste, nommée R3GAN. Malgré sa simplicité, notre approche surpasse StyleGAN2 sur les jeux de données FFHQ, ImageNet, CIFAR et Stacked MNIST, et se compare avantageusement aux meilleurs GAN et modèles de diffusion actuels.