HyperAIHyperAI

Command Palette

Search for a command to run...

Vers une meilleure compréhension et régularisation de la dynamique d'entraînement des GAN

Weili Nie Ankit B. Patel

Résumé

Les réseaux de neurones adverses génératifs (GANs) sont notoirement difficiles à entraîner et les raisons sous-jacentes à leurs comportements de (non-)convergence ne sont toujours pas entièrement comprises. En considérant d'abord un exemple simple mais représentatif de GAN, nous analysons mathématiquement son comportement de convergence locale de manière non asymptotique. Par la suite, cette analyse est étendue aux GANs généraux sous certaines hypothèses. Nous constatons que pour garantir une bonne vitesse de convergence, deux facteurs du jacobien dans la dynamique d'entraînement des GANs doivent être simultanément évités : (i) le Facteur de Phase, c'est-à-dire que le jacobien possède des valeurs propres complexes avec un grand rapport entre la partie imaginaire et la partie réelle, et (ii) le Facteur de Conditionnement, c'est-à-dire que le jacobien est mal conditionné. Les méthodes précédentes de régularisation du jacobien ne peuvent atténuer qu'un seul de ces deux facteurs, tout en aggravant l'autre. Ainsi, nous proposons une nouvelle régularisation du jacobien pour les GANs (JARE), qui aborde simultanément les deux facteurs par construction. Enfin, nous menons des expériences qui confirment notre analyse théorique et démontrent les avantages de JARE par rapport aux méthodes précédentes pour stabiliser les GANs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Vers une meilleure compréhension et régularisation de la dynamique d'entraînement des GAN | Articles | HyperAI