Bildform-Manipulation aus einem einzelnen erweiterten Trainingsbeispiel

In dieser Arbeit stellen wir DeepSIM vor, ein generatives Modell zur bedingten Bildmanipulation auf Basis eines einzelnen Bildes. Wir haben festgestellt, dass umfangreiche Datenverstärkung (Data Augmentation) entscheidend ist, um das Training mit einem einzigen Bild zu ermöglichen, und wir integrieren die Verwendung von dünn-boden-splines (thin-plate-spline, TPS) als effektive Verstärkungsmethode. Unser Netzwerk lernt, zwischen einer primitiven Darstellung des Bildes und dem Bild selbst abzubilden. Die Wahl der primitiven Darstellung hat Einfluss auf die Einfachheit und Ausdrucksstärke der Manipulationen und kann automatisch (z.B. Kanten), manuell (z.B. Segmentierung) oder hybride Formen wie Kanten über Segmentierungen sein. Bei der Manipulation ermöglicht unser Generator komplexe Änderungen am Bild durch Modifikation der primitiven Eingabedarstellung und deren Abbildung durch das Netzwerk. Unsere Methode erzielt beachtliche Leistungen bei Aufgaben der Bildmanipulation.