Hochaufgelöste Bildsynthese und semantische Manipulation mit bedingten GANs

Wir präsentieren eine neue Methode zur Synthese hochaufgelöster, fotorealistischer Bilder aus semantischen Labelkarten unter Verwendung bedingter generativer adversarischer Netze (bedingte GANs). Bedingte GANs haben eine Vielzahl von Anwendungen ermöglicht, aber die Ergebnisse sind oft auf niedrige Auflösung beschränkt und noch weit davon entfernt, realistisch zu sein. In dieser Arbeit erzeugen wir visuell ansprechende Ergebnisse in einer Auflösung von 2048x1024 durch einen neuartigen adversarischen Verlust sowie neue mehrskalige Generator- und Diskriminator-Architekturen. Des Weiteren erweitern wir unser Framework um zwei zusätzliche Funktionen für interaktive visuelle Manipulation. Erstens integrieren wir Informationen zur Objektinstanzsegmentierung, was Objektmanipulationen wie das Entfernen/Hinzufügen von Objekten und das Ändern der Objektkategorie ermöglicht. Zweitens schlagen wir eine Methode vor, um abwechslungsreiche Ergebnisse bei gleicher Eingabe zu generieren, wodurch Benutzer die Objekt-Erscheinung interaktiv bearbeiten können. Studien mit menschlichen Beurteilern zeigen, dass unsere Methode bestehende Methoden deutlich übertrifft und sowohl die Qualität als auch die Auflösung der tiefen Bildsynthese und -bearbeitung verbessert.