Command Palette
Search for a command to run...
Hochauflösende Bildsynthese und semantische Manipulation mit bedingten GANs
Hochauflösende Bildsynthese und semantische Manipulation mit bedingten GANs
Zusammenfassung
Wir stellen eine neue Methode zur Synthese hochauflösender, fotorealistischer Bilder aus semantischen Etikettenkarten vor, die auf bedingten generativen adversarialen Netzwerken (bedingte GANs) basiert. Obwohl bedingte GANs eine Vielzahl von Anwendungen ermöglicht haben, sind die Ergebnisse bisher oft auf geringe Auflösung beschränkt und noch weit entfernt von echter Realität. In dieser Arbeit erzeugen wir visuell ansprechende Ergebnisse mit einer Auflösung von 2048×1024 mithilfe einer neuartigen adversarialen Verlustfunktion sowie neuer, mehrskaliger Generator- und Diskriminatorarchitekturen. Zudem erweitern wir unseren Ansatz um interaktive visuelle Manipulation durch zwei zusätzliche Funktionen. Erstens integrieren wir Informationen zur Objekt-Instanzsegmentierung, was die Manipulation von Objekten – wie das Entfernen oder Hinzufügen von Objekten sowie das Ändern der Objekt-Kategorie – ermöglicht. Zweitens schlagen wir eine Methode vor, die unterschiedliche Ergebnisse für dieselbe Eingabe generiert, wodurch Nutzer die Erscheinung von Objekten interaktiv anpassen können. Menschliche Bewertungsstudien zeigen, dass unsere Methode bestehende Ansätze erheblich übertrifft und sowohl die Qualität als auch die Auflösung der tiefen Bildsynthese und -bearbeitung erheblich voranbringt.