Lernen von Layout- und Stilumkonfigurierbaren GANs für steuerbare Bildsynthese

Mit den bemerkenswerten Fortschritten im Bereich des Lernens tiefer generativer Modelle wird es zunehmend interessant, Modelle für steuerbare Bildsynthese aus umkonfigurierbaren Eingaben zu entwickeln. Diese Arbeit konzentriert sich auf eine kürzlich entstandene Aufgabe, die Layout-to-Image-Synthese, bei der generative Modelle gelernt werden, die fähig sind, foto-realistische Bilder aus räumlichen Layouts (d.h., Objekt-Bounding-Boxen, die in einem Bildgitter konfiguriert sind) und Stil (d.h., strukturelle und optische Variationen, die durch latente Vektoren kodiert sind) zu synthetisieren.Zunächst schlägt diese Arbeit ein intuitives Paradigma für die Aufgabe vor: Layout-to-Mask-to-Image. Dabei lernen die Modelle, Objektmasken der gegebenen Bounding-Boxen in einem Eingabelayout zu entfalten, um die Lücke zwischen dem Eingabelayout und den synthetisierten Bildern zu überbrücken. Anschließend präsentiert die Arbeit eine Methode basierend auf Generativen Widersprüchlichen Netzen (Generative Adversarial Networks), die das vorgeschlagene Layout-to-Mask-to-Image mit Stilsteuerung sowohl auf Bild- als auch auf Maskenebene ermöglicht.Die Objektmasken werden aus dem Eingabelayout gelernt und im Verlauf der Stufen im Generator-Netzwerk iterativ verfeinert. Die Stilsteuerung auf Bildniveau ist identisch mit der in Standard-GANs (vanilla GANs), während die Stilsteuerung auf Maskenebene durch ein neu vorgeschlagenes Merkmalsnormalisierungsschema realisiert wird: Instanz-sensible und Layout-bewusste Normalisierung (Instance-Sensitive and Layout-Aware Normalization).In Experimenten wurde die vorgeschlagene Methode anhand des COCO-Stuff-Datensatzes und des Visual Genome-Datensatzes getestet, wobei sie Stand-des-Wissens-Leistungen erzielte.