cGANs mit Projektionsdiskriminator

Wir schlagen einen neuen, projektionsbasierten Ansatz vor, um die bedingten Informationen in den Diskriminator von GANs (Generative Adversarial Networks) zu integrieren, der die Rolle der bedingten Informationen im zugrundeliegenden Wahrscheinlichkeitsmodell berücksichtigt. Dieser Ansatz steht im Gegensatz zu den meisten heutigen Anwendungsfällen von bedingten GANs, bei denen die bedingten Informationen durch das Anhängen des (eingebetteten) bedingten Vektors an die Merkmalsvektoren verwendet werden. Durch diese Modifikation konnten wir die Qualität der klassenbedingten Bildgenerierung auf dem ILSVRC2012 (ImageNet) 1000-Klassen-Bild-Datensatz erheblich verbessern und dabei das aktuelle State-of-the-Art-Ergebnis übertreffen. Dies gelang uns mit einem einzelnen Paar aus Diskriminator und Generator. Wir konnten zudem die Anwendung auf Super-Resolution erweitern und hochdifferenziierte Super-Resolution-Bilder erzeugen. Diese neue Struktur ermöglichte zudem eine hohe Qualität bei der Kategorientransformation basierend auf parametrischen funktionalen Transformationen der konditionierten Batch-Normalisierungsschichten im Generator.