ContraGAN: Kontrastives Lernen für bedingte Bildgenerierung

Die bedingte Bildgenerierung ist die Aufgabe, vielfältige Bilder unter Verwendung von Klassenlabel-Informationen zu generieren. Obwohl viele bedingte Generative Adversarial Networks (GANs) realistische Ergebnisse erzielt haben, berücksichtigen solche Methoden die paarweisen Beziehungen zwischen dem Embedding eines Bildes und dem Embedding des entsprechenden Labels (Daten-zu-Klasse-Beziehungen) als Bedingungsverluste. In diesem Artikel stellen wir ContraGAN vor, das sowohl Beziehungen zwischen mehreren Bild-Embeddings innerhalb derselben Batch (Daten-zu-Daten-Beziehungen) als auch Daten-zu-Klasse-Beziehungen mithilfe eines bedingten kontrastiven Verlustes berücksichtigt. Der Diskriminator von ContraGAN unterscheidet die Authentizität gegebener Proben und minimiert gleichzeitig einen kontrastiven Zielwert, um die Beziehungen zwischen Trainingsbildern zu lernen. Gleichzeitig versucht der Generator realistische Bilder zu erzeugen, die die Authentizität täuschen und gleichzeitig einen niedrigen kontrastiven Verlust aufweisen. Die experimentellen Ergebnisse zeigen, dass ContraGAN state-of-the-art-Modelle auf den Datensätzen Tiny ImageNet und ImageNet jeweils um 7,3 % und 7,7 % übertrifft. Darüber hinaus zeigen wir experimentell, dass der kontrastive Lernansatz dazu beiträgt, die Überanpassung des Diskriminators zu verringern. Um einen fairen Vergleich zu ermöglichen, reimplementieren wir zwölf state-of-the-art-GANs mit der PyTorch-Bibliothek. Das Softwarepaket ist unter https://github.com/POSTECH-CVLab/PyTorch-StudioGAN verfügbar.