Command Palette
Search for a command to run...
Hochwertige Synthese von Gesichtsfotografien zu Skizzen mittels mehrfacher adversarischer Netzwerke
Hochwertige Synthese von Gesichtsfotografien zu Skizzen mittels mehrfacher adversarischer Netzwerke
Wang Lidan Sindagi Vishwanath A. Patel Vishal M.
Zusammenfassung
Die Synthese von Gesichtsskizzen aus realen Fotos sowie die umgekehrte Aufgabe besitzen zahlreiche Anwendungen. Allerdings bleibt die Synthese von Fotos aus Skizzen bzw. von Skizzen aus Fotos aufgrund der unterschiedlichen charakteristischen Eigenschaften von Fotos und Skizzen weiterhin eine herausfordernde Aufgabe. In dieser Arbeit betrachten wir dieses Problem als ein Bild-zu-Bild-Übersetzungsproblem und untersuchen kürzlich populäre generative Modelle (GANs), um hochwertige, realistische Fotos aus Skizzen sowie Skizzen aus Fotos zu generieren. Neuere GAN-basierte Ansätze haben bereits vielversprechende Ergebnisse bei Bild-zu-Bild-Übersetzungsproblemen, insbesondere bei der Foto-zu-Skizze-Synthese, erzielt. Sie weisen jedoch begrenzte Fähigkeiten zur Erzeugung hochauflösender, realistischer Bilder auf. Um diesem Manko entgegenzuwirken, schlagen wir einen neuen Syntheseframework namens Photo-Sketch Synthesis using Multi-Adversarial Networks (PS²-MAN) vor, der iterativ Bilder von geringer zu hoher Auflösung adversarially generiert. Die versteckten Schichten des Generators werden dabei zunächst so trainiert, niedrigauflösende Bilder zu erzeugen, gefolgt von einer impliziten Verbesserung innerhalb des Netzwerks zur Generierung hochauflösender Bilder. Zudem berücksichtigen wir, dass die Foto-Skizze-Synthese ein gekoppeltes/paralles Übersetzungsproblem darstellt, und nutzen daher die Paarinformationen mittels des CycleGAN-Rahmenwerks. Um die überlegene Leistung unseres Frameworks gegenüber bestehenden state-of-the-art-Lösungen zu demonstrieren, führen wir sowohl Bewertungen der Bildqualität (Image Quality Assessment, IQA) als auch Matching-Experimente zwischen Fotos und Skizzen durch. Der Quellcode ist unter folgender URL verfügbar: https://github.com/lidan1/PhotoSketchMAN.