Hochwertige Synthese von Gesichtsfotos und -skizzen mit Hilfe von Multi-Adversarial-Netzwerken

Die Synthese von Gesichtsskizzen aus realen Fotos und die umgekehrte Prozedur haben viele Anwendungen. Dennoch bleibt die Synthese von Foto zu Skizze oder Skizze zu Foto eine herausfordernde Aufgabe aufgrund der unterschiedlichen Eigenschaften von Fotos und Skizzen. In dieser Arbeit betrachten wir diese Aufgabe als ein Problem der Bild-zu-Bild-Übersetzung und untersuchen neuere, generative Modelle (Generative Adversarial Networks, GANs), um hochwertige, realistische Fotos aus Skizzen und Skizzen aus Fotos zu erzeugen. Kürzlich entwickelte GAN-basierte Methoden haben vielversprechende Ergebnisse bei Bild-zu-Bild-Übersetzungsaufgaben und insbesondere bei der Synthese von Fotos aus Skizzen gezeigt. Allerdings sind sie bekannt für ihre begrenzten Fähigkeiten bei der Erstellung hochauflösender, realistischer Bilder. Dazu schlagen wir einen neuen Syntheserahmen vor, den Photo-Sketch Synthesis using Multi-Adversarial Networks (PS2-MAN), der iterativ in einer adversären Weise niedrige Auflösungsbilder in hohe Auflösungsbilder erzeugt. Die verborgenen Schichten des Generators werden überwacht, um zunächst niedrig auflösende Bilder zu erzeugen, gefolgt von einer impliziten Verfeinerung im Netzwerk zur Erzeugung höher auflösender Bilder. Darüber hinaus handelt es sich bei der Synthese von Foto zu Skizze um ein gekoppeltes/verbundenes Übersetzungsproblem, weshalb wir die Paarinformationen unter Verwendung des CycleGAN-Rahmens nutzen. Sowohl Versuche zur Bildqualitätsbewertung (Image Quality Assessment, IQA) als auch Experimente zur Zuordnung von Foto zu Skizze wurden durchgeführt, um die überlegene Leistung unseres Rahmens im Vergleich zu bestehenden state-of-the-art-Lösungen zu demonstrieren. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/lidan1/PhotoSketchMAN.