HyperAIHyperAI

Command Palette

Search for a command to run...

Gradient Penalty aus Sicht eines Maximum-Margin-Ansatzes

Alexia Jolicoeur-Martineau Ioannis Mitliagkas

Zusammenfassung

Ein verbreiteter Heuristik zur Verbesserung der Leistung von Generative Adversarial Networks (GANs) besteht darin, eine Art Gradientenstrafe auf den Diskriminator anzuwenden. Diese Gradientenstrafe wurde ursprünglich durch eine Formulierung basierend auf der Wasserstein-Distanz motiviert. Die Anwendung von Gradientenstrafen in anderen GAN-Formulierungen ist jedoch weniger gut begründet. Wir präsentieren einen einheitlichen Rahmen basierend auf der erwarteten Margin-Maximierung und zeigen, dass eine breite Palette von gradientenbestraften GANs – beispielsweise Wasserstein-, Standard-, Least-Squares- und Hinge-GANs – aus diesem Rahmen abgeleitet werden kann. Unsere Ergebnisse deuten darauf hin, dass die Verwendung von Gradientenstrafen einen Large-Margin-Klassifikator induziert (und somit einen Large-Margin-Diskriminator in GANs). Wir erläutern, wie die erwartete Margin-Maximierung dazu beiträgt, das Verschwinden von Gradienten bei gefälschten (generierten) Beispielen – ein bekanntes Problem in GANs – zu verringern. Aus diesem Rahmen leiten wir eine neue LL^\inftyL-Gradienten-Norm-Strafe in Kombination mit einer Hinge-Verlustfunktion ab, die im Allgemeinen gleich gute (oder sogar bessere) generierte Ausgaben in GANs erzeugt als L2L^2L2-Norm-Strafen (gemessen anhand der Fréchet-Inception-Distanz).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp