HyperAIHyperAI
vor 17 Tagen

Verschiedene semantische Bildsynthese durch Wahrscheinlichkeitsverteilungsmodellierung

Zhentao Tan, Menglei Chai, Dongdong Chen, Jing Liao, Qi Chu, Bin Liu, Gang Hua, Nenghai Yu
Verschiedene semantische Bildsynthese durch Wahrscheinlichkeitsverteilungsmodellierung
Abstract

Semantische Bildsynthese, die semantische Layouts in foto-realistische Bilder übersetzt, stellt ein ein-zu-viele-Abbildungproblem dar. Obwohl in jüngster Zeit beeindruckende Fortschritte erzielt wurden, bleibt die Erzeugung vielfältiger semantischer Synthesen, die effizient multimodale Ergebnisse auf semantischer Ebene liefern, weiterhin eine Herausforderung. In diesem Artikel stellen wir einen neuartigen Ansatz für die vielfältige semantische Bildsynthese aus der Perspektive semantischer Klassenverteilungen vor, der natürlicherweise eine vielfältige Generierung auf semantischer oder sogar instanzbasierter Ebene unterstützt. Dies erreichen wir, indem wir die klassenbasierten bedingten Modulationsparameter als kontinuierliche Wahrscheinlichkeitsverteilungen anstelle diskreter Werte modellieren und pro-Instanz-Modulationsparameter durch eine instanzadaptive stochastische Stichprobenziehung, die im gesamten Netzwerk konsistent ist, generieren. Zudem führen wir eine Vorwissen-Renummerierung (prior noise remapping) ein, die durch lineare Störparameter, die aus Paarbeispielen kodiert sind, die überwachte Trainingsphase erleichtert und eine exemplar-basierte Steuerung des Instanzstils im Testzeitpunkt ermöglicht. Umfangreiche Experimente auf mehreren Datensätzen zeigen, dass unsere Methode eine überlegene Vielfalt im Vergleich zu aktuellen State-of-the-Art-Methoden erzielt, wobei die Bildqualität vergleichbar bleibt. Der Quellcode wird unter \url{https://github.com/tzt101/INADE.git} verfügbar sein.