SWAGAN: Ein stilbasiertes wellenformgesteuertes generatives Modell

In den letzten Jahren wurde erheblicher Fortschritt bei der visuellen Qualität von Generative Adversarial Networks (GANs) erzielt. Dennoch leiden diese Netzwerke weiterhin unter einer Qualitätsverschlechterung bei hochfrequenten Inhalten, die auf eine spektral verzerrte Architektur sowie ungünstige Verlustfunktionen zurückzuführen ist. Um dieses Problem anzugehen, präsentieren wir eine neuartige, allgemein verwendbare GAN-Architektur namens SWAGAN (Style and WAvelet based GAN), die eine progressive Generierung im Frequenzbereich ermöglicht. SWAGAN integriert Wellenfunktionen (Wavelets) durchgehend in Architektur des Generators und des Diskriminators und sorgt damit für eine frequenzbewusste latente Darstellung bereits in jedem Schritt des Generierungsprozesses. Dieser Ansatz führt zu einer verbesserten visuellen Qualität der generierten Bilder und erheblich gesteigerter Rechenleistung. Wir belegen den Vorteil unserer Methode, indem wir sie in das StyleGAN2-Framework integrieren und nachweisen, dass die Generierung im Wellenfeldraum zu qualitativ hochwertigeren Bildern mit realistischeren hochfrequenten Details führt. Zudem zeigen wir, dass der latente Raum unseres Modells die Eigenschaften beibehält, die StyleGAN als Grundlage für eine Vielzahl von Bearbeitungsaufgaben ermöglichen, und demonstrieren, dass unser frequenzbewusster Ansatz zudem eine verbesserte visuelle Qualität in nachgeschalteten Anwendungen induziert.