HyperAIHyperAI

Command Palette

Search for a command to run...

Semantische Bildsynthese mit räumlich adaptiver Normalisierung

Taesung Park Ming-Yu Liu Ting-Chun Wang Jun-Yan Zhu

Zusammenfassung

Wir schlagen eine räumlich adaptive Normalisierung vor, eine einfache aber effektive Schicht zur Synthese fotorealistischer Bilder auf der Grundlage eines eingegebenen semantischen Layouts. Vorherige Methoden füttern das semantische Layout direkt in das tiefe Netzwerk, welches es dann durch Stapel von Faltungsschichten, Normalisierungsschichten und Nichtlinearitätsschichten verarbeitet. Wir zeigen, dass dies suboptimal ist, da die Normalisierungsschichten neigen, semantische Informationen zu „verwaschen“. Um dieses Problem anzugehen, schlagen wir vor, das Eingabelayout für die Modulation der Aktivierungen in den Normalisierungsschichten durch eine räumlich adaptive, gelernte Transformation zu verwenden. Experimente mit mehreren anspruchsvollen Datensätzen demonstrieren den Vorteil der vorgeschlagenen Methode gegenüber bestehenden Ansätzen hinsichtlich sowohl visueller Treue als auch Übereinstimmung mit den Eingabelayouts. Schließlich ermöglicht unser Modell Benutzerkontrolle sowohl über Semantik als auch über Stil. Der Quellcode ist unter https://github.com/NVlabs/SPADE verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp