Halbparametrische Bildsynthese

Wir präsentieren einen semi-parametrischen Ansatz zur fotografischen Bildsynthese aus semantischen Layouts. Dieser Ansatz kombiniert die ergänzenden Stärken parametrischer und nicht-parametrischer Techniken. Das nicht-parametrische Element ist eine Speicherbank von Bildsegmenten, die aus einem Trainingsdatensatz von Bildern konstruiert wurde. Bei einem neuen semantischen Layout in der Testphase wird die Speicherbank verwendet, um fotografische Referenzen zu suchen, die als Quellmaterial für ein tiefes neuronales Netzwerk bereitgestellt werden. Die Synthese erfolgt durch ein tiefes neuronales Netzwerk, das sich auf das bereitgestellte fotografische Material stützt. Experimente mit mehreren Datensätzen für semantische Segmentierung zeigen, dass der vorgestellte Ansatz erheblich realistischere Bilder erzeugt als jüngste rein parametrische Techniken. Die Ergebnisse sind im ergänzenden Video unter https://youtu.be/U4Q98lenGLQ zu sehen.