Erkenntnisse aus der Ausbildung von GANs auf künstlichen Datensätzen

Generative Adversarial Networks (GANs) haben in den letzten Jahren erhebliche Fortschritte bei der Synthese realistischer Bilder erzielt. Sie werden jedoch oft auf Bilddatensätzen trainiert, die entweder zu wenige Beispiele oder zu viele Klassen mit unterschiedlichen Datensystemen aufweisen. Dadurch neigen GANs häufig zu Unteranpassung oder Überanpassung, was die Analyse dieser Modelle erschwert und einschränkt. Um eine umfassende Untersuchung von GANs durchzuführen, ohne durch die Datensätze unnötige Störungen hervorgerufen zu werden, trainieren wir sie auf künstlichen Datensätzen, die unendlich viele Beispiele enthalten und deren echte Datensysteme einfach, hochdimensional und strukturierte Mannigfaltigkeiten aufweisen. Zudem werden die Generatoren so konzipiert, dass optimale Parametermengen existieren. Empirisch stellen wir fest, dass der Generator bei verschiedenen Distanzmaßen die entsprechenden Parameter mittels des GAN-Trainingsverfahrens nicht erlernen kann. Außerdem zeigen wir, dass das Training von GAN-Mischungen im Vergleich zur Erhöhung der Netzwerktiefe oder -breite bei ausreichend hoher Modellkomplexität zu einer größeren Leistungssteigerung führt. Unsere experimentellen Ergebnisse belegen, dass eine Mischung aus Generatoren in einer unsupervised-Situation automatisch verschiedene Modi oder Klassen erkennen kann, was wir auf die Verteilung der Generierungs- und Diskriminierungsaufgaben über mehrere Generatoren und Diskriminatoren zurückführen. Als Beispiel für die Verallgemeinerbarkeit unserer Ergebnisse auf reale Datensätze trainieren wir eine GAN-Mischung auf dem CIFAR-10-Datensatz, wobei unsere Methode die State-of-the-Art-Leistung in Bezug auf gängige Metriken wie Inception Score (IS) und Fréchet Inception Distance (FID) erheblich übertreffen kann.