LT-GAN: Selbstüberwachtes GAN mit latenten Transformationsdetektion

Generative Adversarial Networks (GANs), kombiniert mit selbstüberwachten Aufgaben, haben vielversprechende Ergebnisse bei der bedingungslosen und halbüberwachten Bildgenerierung erzielt. Wir stellen einen selbstüberwachten Ansatz (LT-GAN) vor, um die Qualität und Vielfalt der generierten Bilder durch die Schätzung der durch die GAN-induzierten Transformationen (d. h. der Transformationen, die in den generierten Bildern durch Störungen des Latentraums des Generators hervorgerufen werden) zu verbessern. Konkret zielt die selbstüberwachte Aufgabe darauf ab, bei zwei Bildpaaren – jeweils bestehend aus einem generierten Bild und seiner transformierten Version – zu erkennen, ob die im jeweiligen Paar angewendete Latenttransformation identisch ist mit derjenigen im anderen Paar. Dadurch wird eine zusätzliche Verlustfunktion erzeugt, die den Generator dazu anregt, Bilder zu erzeugen, die von einem Hilfsnetzwerk unterscheidbar sind. Dies fördert wiederum die Synthese semantisch konsistenter Bilder im Hinblick auf Latenttransformationen. Wir belegen die Wirksamkeit dieser Vorabaufgabe durch eine Verbesserung der Bildgenerierungsqualität hinsichtlich des FID-Werts auf state-of-the-art-Modellen sowohl im bedingungslosen als auch im bedingten Setting auf den Datensätzen CIFAR-10, CelebA-HQ und ImageNet. Zudem zeigen wir empirisch, dass LT-GAN die Kontrolle über die Bildbearbeitung auf CelebA-HQ und ImageNet gegenüber Baseline-Modellen verbessert. Experimentell demonstrieren wir, dass unsere vorgeschlagene LT-Selbstüberwachungsaufgabe effektiv mit anderen state-of-the-art-Trainingsmethoden kombiniert werden kann, um zusätzliche Vorteile zu erzielen. Insgesamt erreichen wir mit unserem Ansatz einen neuen state-of-the-art-FID-Wert von 9,8 bei der bedingten Bildgenerierung auf CIFAR-10.