Zu einem besseren Verständnis und der Regularisierung der Trainingsdynamik von GANs

Generative Adversarial Networks (GANs) sind dafür bekannt, besonders schwierig zu trainieren, und die Gründe für ihr (Nicht-)Konvergenzverhalten sind bislang noch nicht vollständig verstanden. Indem wir zunächst ein einfaches, aber repräsentatives GAN-Beispiel betrachten, analysieren wir dessen lokale Konvergenz in einer nicht-asymptotischen Weise mathematisch. Darüber hinaus wird die Analyse unter bestimmten Annahmen auf allgemeine GANs erweitert. Wir stellen fest, dass um eine gute Konvergenzrate sicherzustellen, zwei Faktoren der Jakobimatrix in den Trainingsdynamiken von GANs gleichzeitig vermieden werden sollten: (i) der Phasenfaktor, d.h., die Jakobimatrix hat komplexe Eigenwerte mit einem großen Verhältnis zwischen Imaginär- und Realteil, und (ii) der Konditionsfaktor, d.h., die Jakobimatrix ist schlecht konditioniert. Vorherige Methoden zur Regularisierung der Jakobimatrix können nur einen dieser beiden Faktoren lindern, während sie den anderen verschlimmern. Daher schlagen wir eine neue Jakobi-Matrix-Regularisierung (JARE) für GANs vor, die beide Faktoren durch ihre Konstruktion gleichzeitig berücksichtigt. Schließlich führen wir Experimente durch, die unsere theoretische Analyse bestätigen und die Vorteile von JARE bei der Stabilisierung von GANs gegenüber früheren Methoden demonstrieren.