Neujustierung von ACGAN: Auxiliary Classifier GANs mit stabilem Training

Bedingte generative adversarische Netzwerke (cGAN) erzeugen realistische Bilder, indem sie Klasseninformationen in das GAN integrieren. Während eines der beliebtesten cGANs das Auxiliary Classifier GAN mit Softmax-Kreuzentropieverlust (ACGAN) darstellt, ist allgemein bekannt, dass die Schulung von ACGAN mit wachsender Anzahl an Klassen im Datensatz herausfordernd ist. Zudem neigt ACGAN dazu, leicht klassifizierbare Beispiele mit geringer Vielfalt zu generieren. In diesem Artikel stellen wir zwei Lösungsansätze für die Probleme von ACGAN vor. Erstens identifizieren wir, dass ein Gradientenexplodieren im Klassifikator zu einer unerwünschten Kollapsbildung in der frühen Trainingsphase führen kann, und zeigen, dass die Projektion von Eingabevektoren auf eine Einheits-Hypersphäre dieses Problem behebt. Zweitens schlagen wir den Data-to-Data Cross-Entropy-Loss (D2D-CE) vor, um relationale Informationen im klassenbeschrifteten Datensatz auszunutzen. Auf dieser Grundlage präsentieren wir das Rebooted Auxiliary Classifier Generative Adversarial Network (ReACGAN). Die experimentellen Ergebnisse zeigen, dass ReACGAN state-of-the-art Ergebnisse auf den Datensätzen CIFAR10, Tiny-ImageNet, CUB200 und ImageNet erzielt. Zudem bestätigen wir, dass ReACGAN von differentiierbaren Datenaugmentierungen profitiert und dass D2D-CE gut mit der StyleGAN2-Architektur kompatibel ist. Die Modellgewichte sowie ein Softwarepaket zur Implementierung von repräsentativen cGANs und sämtlichen Experimenten aus diesem Artikel sind unter https://github.com/POSTECH-CVLab/PyTorch-StudioGAN verfügbar.