Dual Pyramid Generative Adversarial Networks für die semantische Bildsynthese

Das Ziel der semantischen Bildsynthese besteht darin, foto-realistische Bilder aus semantischen Etikettierungskarten zu generieren. Dies ist von hoher Relevanz für Aufgaben wie Inhaltsgenerierung und Bildbearbeitung. Aktuelle state-of-the-art-Ansätze stoßen jedoch weiterhin auf Schwierigkeiten, realistische Objekte in Bildern bei verschiedenen Skalen zu erzeugen. Insbesondere neigen kleine Objekte dazu, zu verschwimmen, während große Objekte oft als Collagen aus Patch-Teilen erscheinen. Um dieses Problem anzugehen, schlagen wir ein Dual-Pyramiden-Generatives adversariales Netzwerk (DP-GAN) vor, das die Bedingung von räumlich adaptiven Normalisierungsblöcken auf allen Skalen gemeinsam lernt, sodass Skaleninformation bidirektional genutzt wird und die Überwachung auf verschiedenen Skalen vereinheitlicht wird. Unsere qualitativen und quantitativen Ergebnisse zeigen, dass das vorgeschlagene Verfahren Bilder erzeugt, in denen sowohl kleine als auch große Objekte realistischer aussehen als jene, die durch state-of-the-art-Methoden generiert werden.