HyperAIHyperAI

Command Palette

Search for a command to run...

Zu einem besseren Verständnis und der Regularisierung der Trainingsdynamik von GANs

Weili Nie Ankit B. Patel

Zusammenfassung

Generative Adversarial Networks (GANs) sind dafür bekannt, besonders schwierig zu trainieren, und die Gründe für ihr (Nicht-)Konvergenzverhalten sind bislang noch nicht vollständig verstanden. Indem wir zunächst ein einfaches, aber repräsentatives GAN-Beispiel betrachten, analysieren wir dessen lokale Konvergenz in einer nicht-asymptotischen Weise mathematisch. Darüber hinaus wird die Analyse unter bestimmten Annahmen auf allgemeine GANs erweitert. Wir stellen fest, dass um eine gute Konvergenzrate sicherzustellen, zwei Faktoren der Jakobimatrix in den Trainingsdynamiken von GANs gleichzeitig vermieden werden sollten: (i) der Phasenfaktor, d.h., die Jakobimatrix hat komplexe Eigenwerte mit einem großen Verhältnis zwischen Imaginär- und Realteil, und (ii) der Konditionsfaktor, d.h., die Jakobimatrix ist schlecht konditioniert. Vorherige Methoden zur Regularisierung der Jakobimatrix können nur einen dieser beiden Faktoren lindern, während sie den anderen verschlimmern. Daher schlagen wir eine neue Jakobi-Matrix-Regularisierung (JARE) für GANs vor, die beide Faktoren durch ihre Konstruktion gleichzeitig berücksichtigt. Schließlich führen wir Experimente durch, die unsere theoretische Analyse bestätigen und die Vorteile von JARE bei der Stabilisierung von GANs gegenüber früheren Methoden demonstrieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Zu einem besseren Verständnis und der Regularisierung der Trainingsdynamik von GANs | Paper | HyperAI