Selbstüberwachte GANs durch zusätzlichen Rotationsverlust

Bedingte GANs (Generative Adversarial Networks) stehen an der Spitze der natürlichen Bildsynthese. Der Hauptnachteil solcher Modelle ist die Notwendigkeit von etikettierten Daten. In dieser Arbeit nutzen wir zwei weit verbreitete Techniken des unüberwachten Lernens, nämlich das adversarische Training und die Selbstüberwachung, um einen Schritt in Richtung der Brückenschlag zwischen bedingten und unbedingten GANs zu tun. Insbesondere ermöglichen wir es den Netzen, bei der Aufgabe des Repräsentationslernens zusammenzuarbeiten, während sie im klassischen GAN-Spiel gegeneinander antreten. Die Rolle der Selbstüberwachung besteht darin, den Diskriminator dazu anzuregen, sinnvolle Merkmalsrepräsentationen zu lernen, die während des Trainings nicht vergessen werden. Wir testen experimentell sowohl die Qualität der gelernten Bildrepräsentationen als auch die Qualität der synthetisierten Bilder. Unter gleichen Bedingungen erreicht das selbstüberwachte GAN eine ähnliche Leistung wie standesübliche bedingte Gegenstücke. Schließlich zeigen wir, dass dieser Ansatz für vollständiges unüberwachtes Lernen skaliert werden kann, um ein FID (Fréchet Inception Distance) von 23,4 bei unbedingter ImageNet-Generierung zu erzielen.