EAGAN: Effiziente zweistufige evolutionäre Architektursuche für GANs

Generative adversariale Netze (GANs) haben sich bei Aufgaben der Bildgenerierung als erfolgreich erwiesen. Allerdings ist der Trainingsprozess von GANs inhärent instabil. Obwohl zahlreiche Arbeiten versuchen, diese Instabilität durch manuelle Anpassungen der GAN-Architektur zu verringern, erfordert dies erhebliches Fachwissen. Neural Architecture Search (NAS) ist zu einer vielversprechenden Lösung geworden, um GANs automatisch zu suchen. Frühere NAS-GAN-Ansätze suchten lediglich den Generator, um die Suchkomplexität zu reduzieren, führten jedoch zu suboptimalen GANs. In jüngeren Arbeiten wurde versucht, sowohl den Generator (G) als auch den Diskriminator (D) zu suchen, doch diese Ansätze leiden unter der Instabilität des GAN-Trainings. Um diese Instabilität zu mildern, schlagen wir einen effizienten zweistufigen evolutionären Algorithmus-basierten NAS-Framework zur GAN-Suche vor, namens EAGAN. Wir entkoppeln die Suche nach G und D in zwei Stufen: In Stufe 1 wird G mit einem festen D gesucht und die Many-to-One-Trainingsstrategie angewendet; in Stufe 2 wird D mit dem optimalen G aus Stufe 1 gesucht, wobei die One-to-One-Trainingsstrategie sowie eine Gewichtsreset-Strategie eingesetzt werden, um die Stabilität des GAN-Trainings zu erhöhen. Beide Stufen nutzen die nicht-dominierte Sortierung, um Architekturen auf der Pareto-Front unter mehreren Zielen (z. B. Modellgröße, Inception Score (IS), Fréchet Inception Distance (FID)) zu erzeugen. EAGAN wird auf die bedingungslose Bildgenerierung angewendet und kann die Suche auf dem CIFAR-10-Datensatz effizient in 1,2 GPU-Tagen abschließen. Die von uns gefundenen GANs erreichen wettbewerbsfähige Ergebnisse (IS = 8,81 ± 0,10, FID = 9,91) auf CIFAR-10 und übertreffen bestehende NAS-GANs auf dem STL-10-Datensatz (IS = 10,44 ± 0,087, FID = 22,18). Quellcode: https://github.com/marsggbo/EAGAN.