HyperAIHyperAI

Command Palette

Search for a command to run...

GANs, die nach einer Regel mit zwei Zeitskalen aktualisiert werden, konvergieren zu einem lokalen Nash-Gleichgewicht.

Martin Heusel Hubert Ramsauer Thomas Unterthiner Bernhard Nessler Sepp Hochreiter

Zusammenfassung

Generative Adversarial Networks (GANs) zeichnen sich dadurch aus, dass sie realistische Bilder mit komplexen Modellen erstellen können, für die die Maximierung der Likelihood nicht möglich ist. Dennoch konnte der Konvergenzprozess des GAN-Trainings bisher noch nicht bewiesen werden. Wir schlagen eine Regel für das Training von GANs mit stochastischem Gradientenabstieg auf beliebigen GAN-Loss-Funktionen vor, die als Two Time-Scale Update Rule (TTUR) bezeichnet wird. TTUR verfügt über individuelle Lernraten sowohl für den Diskriminator als auch für den Generator. Unter Verwendung der Theorie der stochastischen Approximation beweisen wir, dass TTUR unter milden Annahmen zu einem stationären lokalen Nash-Gleichgewicht konvergiert. Diese Konvergenzeigenschaft überträgt sich auch auf die weit verbreitete Adam-Optimierung, für die wir zeigen, dass sie den Dynamiken eines schweren Balles mit Reibung folgt und daher flache Minima im Ziellandschaft bevorzugt. Zur Bewertung der Leistung von GANs bei der Bildgenerierung führen wir den „Fréchet Inception Distance“ (FID) ein, der die Ähnlichkeit generierter Bilder zu realen besser als der Inception Score erfasst. In Experimenten verbessert TTUR das Lernen sowohl für DCGANs als auch für Improved Wasserstein GANs (WGAN-GP), wobei diese Methoden das herkömmliche GAN-Training auf CelebA, CIFAR-10, SVHN, LSUN Schlafzimmer und dem One Billion Word Benchmark übertreffen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
GANs, die nach einer Regel mit zwei Zeitskalen aktualisiert werden, konvergieren zu einem lokalen Nash-Gleichgewicht. | Paper | HyperAI