Wavelet-basierte unüberwachte Übersetzung von Label zu Bild

Semantische Bildsynthese (SIS) ist eine Unterklasse der Bild-zu-Bild-Übersetzung, bei der ein semantisches Layout verwendet wird, um ein fotorealistisches Bild zu generieren. State-of-the-art bedingte Generative Adversarial Networks (GANs) benötigen eine enorme Menge an gepaarten Daten, um diese Aufgabe zu bewältigen, während generische unangepaarte Bild-zu-Bild-Übersetzungsframeworks im Vergleich unterperformen, da sie semantische Layouts farblich kodieren und stattdessen Ähnlichkeiten im Erscheinungsbild anstelle des semantischen Inhalts lernen. Ausgehend von der Annahme, dass ein hochwertiges generiertes Bild wieder in sein semantisches Layout segmentiert werden sollte, schlagen wir ein neues unsupervises Paradigma für SIS (USIS) vor, das einen selbstüberwachten Segmentierungsverlust und eine diskriminierungsbasierte Analyse des gesamten Bildes mit Wellenfunktionen nutzt. Darüber hinaus wird eine neuartige Generatorarchitektur im Wellenbereich vorgeschlagen, um die Hochfrequenzverteilung realer Bilder abzubilden. Wir testen unsere Methodik an 3 anspruchsvollen Datensätzen und zeigen ihre Fähigkeit auf, die Leistungslücke zwischen angepaarten und unangepaarten Modellen zu überbrücken.