StackGAN++: Realistische Bildsynthese mit gestapelten generativen adversären Netzen

Obwohl Generative Adversarial Networks (GANs) in verschiedenen Aufgaben erstaunliche Erfolge verzeichnet haben, stehen sie weiterhin vor der Herausforderung, hochwertige Bilder zu generieren. In dieser Arbeit schlagen wir Stacked Generative Adversarial Networks (StackGAN) vor, die darauf abzielen, hochauflösende fotorealistische Bilder zu erzeugen. Zunächst stellen wir eine zweistufige GAN-Architektur, StackGAN-v1, für die Text-zu-Bild-Synthese vor. Das Stage-I-GAN zeichnet basierend auf der gegebenen Textbeschreibung die grundlegende Form und Farben des Objekts und erzeugt dabei Niedrigauflösungsbilder. Das Stage-II-GAN nimmt die Ergebnisse von Stage-I sowie Textbeschreibungen als Eingaben entgegen und erzeugt daraus Hochauflösungsbilder mit fotorealistischen Details. Als Zweites schlagen wir eine fortgeschrittene mehrstufige GAN-Architektur, StackGAN-v2, sowohl für bedingte als auch für unbedingte Generierungsaufgaben vor. Unser StackGAN-v2 besteht aus mehreren Generatoren und Diskriminatoren in einer baumartigen Struktur; Bilder in verschiedenen Auflösungen, die dieselbe Szene darstellen, werden von den verschiedenen Ästen des Baums generiert. StackGAN-v2 zeigt ein stabileres Trainingsverhalten als StackGAN-v1 durch gemeinsame Approximation mehrerer Verteilungen. Umfangreiche Experimente belegen, dass die vorgeschlagenen Stacked Generative Adversarial Networks bei der Erzeugung fotorealistischer Bilder deutlich über anderen Stand der Technik Methoden liegen.