Verbesserte Trainierung von Wasserstein-GANs

Generative Adversarial Networks (GANs) sind leistungsstarke generative Modelle, leiden aber unter Trainingsinstabilität. Das kürzlich vorgeschlagene Wasserstein-GAN (WGAN) macht Fortschritte bei der stabilen Training von GANs, kann jedoch manchmal nur Samples niedriger Qualität erzeugen oder gar nicht konvergieren. Wir stellen fest, dass diese Probleme häufig auf die Verwendung von Gewichtsklippung in WGAN zurückzuführen sind, um eine Lipschitz-Bedingung für den Kritiker zu erzwingen, was zu unerwünschtem Verhalten führen kann. Wir schlagen eine Alternative zum Klipping von Gewichten vor: die Norm des Gradienten des Kritikers bezüglich seiner Eingabe zu bestrafen. Unsere vorgeschlagene Methode übertrifft das Standard-WGAN und ermöglicht das stabile Training einer Vielzahl von GAN-Architekturen mit fast keiner Hyperparameter-Tuning, einschließlich 101-schichtiger ResNets und Sprachmodellen über diskreten Daten. Auch bei der Erzeugung hochwertiger Bilder auf CIFAR-10 und LSUN Schlafzimmer erreichen wir ausgezeichnete Ergebnisse.