Amélioration de l'entraînement des GAN grâce au clipping du ratio de probabilité et au rééchantillonnage des échantillons

Malgré leurs succès sur une large gamme de problèmes liés à la vision, les réseaux antagonistes génératifs (GAN) souffrent souvent d'une performance inférieure en raison d'une instabilité d'entraînement, particulièrement dans le domaine de la génération de texte. Pour résoudre ce problème, nous proposons un nouveau cadre d'entraînement pour GAN variationnels, offrant une stabilité d'entraînement supérieure. Notre approche s'inspire d'une connexion entre les GAN et l'apprentissage par renforcement, établie sous un angle variationnel. Cette connexion conduit à deux innovations : (1) un découpage du ratio de probabilité, qui régularise l'entraînement du générateur afin d'éviter des mises à jour excessivement grandes ; et (2) un mécanisme de réaffectation des poids des échantillons, qui améliore l'entraînement du discriminateur en atténuant l'impact des échantillons falsifiés de mauvaise qualité. En outre, notre cadre variationnel GAN peut théoriquement surmonter un problème courant dans de nombreux GAN : l'absence de gradient informatif fourni par un discriminateur optimal lors de l'entraînement du générateur. En intégrant cette méthode dans diverses architectures de pointe de GAN, nous obtenons des performances nettement améliorées sur un large éventail de tâches, notamment la génération de texte, le transfert de style de texte et la génération d'images.