Selbstüberwachtes GAN: Analyse und Verbesserung mit einem Multiklassen-Minimax-Spiel

Selbstüberwachtes (SS) Lernen ist ein leistungsfähiger Ansatz für die Repräsentationslernen mit unbeschrifteten Daten. In jüngster Zeit wurde es auf die Training von Generativen adversarialen Netzwerken (GANs) angewendet. Insbesondere wurden SS-Aufgaben vorgeschlagen, um das Problem des katastrophalen Vergessens im GAN-Discriminator zu bewältigen. In dieser Arbeit führen wir eine detaillierte Analyse durch, um zu verstehen, wie SS-Aufgaben mit dem Lernen des Generators interagieren. Aus der Analyse identifizieren wir Schwächen der bestehenden SS-Aufgaben, die es einem stark modenkollabierten Generator ermöglichen, die SS-Aufgaben gut zu bewältigen. Um diese Probleme zu beheben, schlagen wir neue SS-Aufgaben vor, die auf einem mehrklassigen Minimax-Spiel basieren. Der Wettbewerb zwischen unseren vorgeschlagenen SS-Aufgaben im Spiel fördert, dass der Generator die Datenausbreitung lernt und vielfältige Beispiele generiert. Wir liefern sowohl theoretische als auch empirische Analysen, um zu belegen, dass unsere vorgeschlagenen SS-Aufgaben eine bessere Konvergenzeigenschaft aufweisen. Wir führen Experimente durch, um unsere vorgeschlagenen SS-Aufgaben in zwei verschiedene GAN-Baselinemodelle zu integrieren. Unser Ansatz erreicht state-of-the-art FID-Scores auf den Datensätzen CIFAR-10, CIFAR-100, STL-10, CelebA, ImageNet $32\times32$ und Stacked-MNIST und übertrifft in einigen Fällen bestehende Ansätze deutlich. Unser unconditional GAN-Modell erreicht Leistungsniveau eines conditional GAN ohne Verwendung von beschrifteten Daten. Unser Code: https://github.com/tntrung/msgan