Diskriminator-Kontrastiver Divergenz: Semi-amortisierte generative Modellierung durch die Exploration der Energie des Diskriminators

Generative Adversariale Netzwerke (GANs) haben großes Versprechen hinsichtlich der Modellierung hochdimensionaler Daten gezeigt. Das Lernziel von GANs minimiert in der Regel eine Maßabweichung, beispielsweise die $f$-Divergenz (f-GANs) oder die Integral Probability Metrik (Wasserstein GANs). Bei Verwendung der $f$-Divergenz als Zielfunktion schätzt der Diskriminator im Wesentlichen das Dichteverhältnis, wobei die geschätzte Ratio sich als nützlich erweist, um die Qualität der durch den Generator erzeugten Samples weiter zu verbessern. Wie jedoch die im Diskriminator von Wasserstein GANs (WGAN) enthaltene Information genutzt werden kann, ist bisher weniger erforscht. In diesem Artikel führen wir die Discriminator Contrastive Divergence ein, die durch die Eigenschaften des Diskriminators von WGAN und die Beziehung zwischen WGAN und energiebasierten Modellen gut motiviert ist. Im Gegensatz zu herkömmlichen GANs, bei denen der Generator direkt zur Erzeugung neuer Samples verwendet wird, schlagen wir ein semi-amortisiertes Generierungsverfahren vor, bei dem die Samples mit dem Ausgang des Generators als Anfangszustand erzeugt werden. Anschließend werden mehrere Schritte der Langevin-Dynamik unter Verwendung des Gradienten des Diskriminators durchgeführt. Wir zeigen die Vorteile einer signifikanten Verbesserung der Generierung sowohl auf synthetischen Daten als auch auf mehreren Benchmark-Aufgaben zur Bildgenerierung in der realen Welt.