HyperAIHyperAI

Command Palette

Search for a command to run...

Amélioration de l'entraînement des GAN grâce au clipping du ratio de probabilité et au rééchantillonnage des échantillons

Yue Wu Pan Zhou Andrew Gordon Wilson Eric P. Xing Zhiting Hu

Résumé

Malgré leurs succès sur une large gamme de problèmes liés à la vision, les réseaux antagonistes génératifs (GAN) souffrent souvent d'une performance inférieure en raison d'une instabilité d'entraînement, particulièrement dans le domaine de la génération de texte. Pour résoudre ce problème, nous proposons un nouveau cadre d'entraînement pour GAN variationnels, offrant une stabilité d'entraînement supérieure. Notre approche s'inspire d'une connexion entre les GAN et l'apprentissage par renforcement, établie sous un angle variationnel. Cette connexion conduit à deux innovations : (1) un découpage du ratio de probabilité, qui régularise l'entraînement du générateur afin d'éviter des mises à jour excessivement grandes ; et (2) un mécanisme de réaffectation des poids des échantillons, qui améliore l'entraînement du discriminateur en atténuant l'impact des échantillons falsifiés de mauvaise qualité. En outre, notre cadre variationnel GAN peut théoriquement surmonter un problème courant dans de nombreux GAN : l'absence de gradient informatif fourni par un discriminateur optimal lors de l'entraînement du générateur. En intégrant cette méthode dans diverses architectures de pointe de GAN, nous obtenons des performances nettement améliorées sur un large éventail de tâches, notamment la génération de texte, le transfert de style de texte et la génération d'images.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Amélioration de l'entraînement des GAN grâce au clipping du ratio de probabilité et au rééchantillonnage des échantillons | Articles | HyperAI