Konsistenz-Regularisierung für Generative Adversarial Networks

Generative Adversarial Networks (GANs) sind bekannt dafür, schwer zu trainieren zu sein, trotz erheblicher Forschungsanstrengungen. Mehrere Regularisierungstechniken zur Stabilisierung des Trainings wurden vorgeschlagen, bringen jedoch nicht-triviale Rechenaufwände mit sich und interagieren schlecht mit etablierten Methoden wie der Spektralnormalisierung. In dieser Arbeit präsentieren wir einen einfachen, effektiven Trainingsstabilisator, der auf dem Konzept der Konsistenzregularisierung basiert – einer gängigen Technik in der halbüberwachten Lernliteratur. Insbesondere erweitern wir die Daten, die in den GAN-Discriminator gelangen, und bestrafen die Empfindlichkeit des Discriminators gegenüber diesen Erweiterungen. Wir führen eine Reihe von Experimenten durch, um zu zeigen, dass die Konsistenzregularisierung effektiv mit der Spektralnormalisierung sowie verschiedenen GAN-Architekturen, Verlustfunktionen und Optimierer-Einstellungen funktioniert. Unser Ansatz erreicht die besten FID-Scores für die bedingungslose Bildgenerierung im Vergleich zu anderen Regularisierungsmethoden auf CIFAR-10 und CelebA. Darüber hinaus verbessert unsere konsistenzregularisierte GAN (CR-GAN) die Stand der Technik bei der bedingten Generierung auf CIFAR-10 von 14,73 auf 11,48 und auf ImageNet-2012 von 8,73 auf 6,66.