GANs, die nach einer Regel mit zwei Zeitskalen aktualisiert werden, konvergieren zu einem lokalen Nash-Gleichgewicht.

Generative Adversarial Networks (GANs) zeichnen sich dadurch aus, dass sie realistische Bilder mit komplexen Modellen erstellen können, für die die Maximierung der Likelihood nicht möglich ist. Dennoch konnte der Konvergenzprozess des GAN-Trainings bisher noch nicht bewiesen werden. Wir schlagen eine Regel für das Training von GANs mit stochastischem Gradientenabstieg auf beliebigen GAN-Loss-Funktionen vor, die als Two Time-Scale Update Rule (TTUR) bezeichnet wird. TTUR verfügt über individuelle Lernraten sowohl für den Diskriminator als auch für den Generator. Unter Verwendung der Theorie der stochastischen Approximation beweisen wir, dass TTUR unter milden Annahmen zu einem stationären lokalen Nash-Gleichgewicht konvergiert. Diese Konvergenzeigenschaft überträgt sich auch auf die weit verbreitete Adam-Optimierung, für die wir zeigen, dass sie den Dynamiken eines schweren Balles mit Reibung folgt und daher flache Minima im Ziellandschaft bevorzugt. Zur Bewertung der Leistung von GANs bei der Bildgenerierung führen wir den „Fréchet Inception Distance“ (FID) ein, der die Ähnlichkeit generierter Bilder zu realen besser als der Inception Score erfasst. In Experimenten verbessert TTUR das Lernen sowohl für DCGANs als auch für Improved Wasserstein GANs (WGAN-GP), wobei diese Methoden das herkömmliche GAN-Training auf CelebA, CIFAR-10, SVHN, LSUN Schlafzimmer und dem One Billion Word Benchmark übertreffen.