Semantische Bildsynthese mit räumlich adaptiver Normalisierung

Wir schlagen eine räumlich adaptive Normalisierung vor, eine einfache aber effektive Schicht zur Synthese fotorealistischer Bilder auf der Grundlage eines eingegebenen semantischen Layouts. Vorherige Methoden füttern das semantische Layout direkt in das tiefe Netzwerk, welches es dann durch Stapel von Faltungsschichten, Normalisierungsschichten und Nichtlinearitätsschichten verarbeitet. Wir zeigen, dass dies suboptimal ist, da die Normalisierungsschichten neigen, semantische Informationen zu „verwaschen“. Um dieses Problem anzugehen, schlagen wir vor, das Eingabelayout für die Modulation der Aktivierungen in den Normalisierungsschichten durch eine räumlich adaptive, gelernte Transformation zu verwenden. Experimente mit mehreren anspruchsvollen Datensätzen demonstrieren den Vorteil der vorgeschlagenen Methode gegenüber bestehenden Ansätzen hinsichtlich sowohl visueller Treue als auch Übereinstimmung mit den Eingabelayouts. Schließlich ermöglicht unser Modell Benutzerkontrolle sowohl über Semantik als auch über Stil. Der Quellcode ist unter https://github.com/NVlabs/SPADE verfügbar.