Gradient Penalty aus Sicht eines Maximum-Margin-Ansatzes

Ein verbreiteter Heuristik zur Verbesserung der Leistung von Generative Adversarial Networks (GANs) besteht darin, eine Art Gradientenstrafe auf den Diskriminator anzuwenden. Diese Gradientenstrafe wurde ursprünglich durch eine Formulierung basierend auf der Wasserstein-Distanz motiviert. Die Anwendung von Gradientenstrafen in anderen GAN-Formulierungen ist jedoch weniger gut begründet. Wir präsentieren einen einheitlichen Rahmen basierend auf der erwarteten Margin-Maximierung und zeigen, dass eine breite Palette von gradientenbestraften GANs – beispielsweise Wasserstein-, Standard-, Least-Squares- und Hinge-GANs – aus diesem Rahmen abgeleitet werden kann. Unsere Ergebnisse deuten darauf hin, dass die Verwendung von Gradientenstrafen einen Large-Margin-Klassifikator induziert (und somit einen Large-Margin-Diskriminator in GANs). Wir erläutern, wie die erwartete Margin-Maximierung dazu beiträgt, das Verschwinden von Gradienten bei gefälschten (generierten) Beispielen – ein bekanntes Problem in GANs – zu verringern. Aus diesem Rahmen leiten wir eine neue $L^\infty$-Gradienten-Norm-Strafe in Kombination mit einer Hinge-Verlustfunktion ab, die im Allgemeinen gleich gute (oder sogar bessere) generierte Ausgaben in GANs erzeugt als $L^2$-Norm-Strafen (gemessen anhand der Fréchet-Inception-Distanz).