HyperAIHyperAI

Command Palette

Search for a command to run...

Hochwertige Synthese von Gesichtsfotografien zu Skizzen mittels mehrfacher adversarischer Netzwerke

Wang Lidan Sindagi Vishwanath A. Patel Vishal M.

Zusammenfassung

Die Synthese von Gesichtsskizzen aus realen Fotos sowie die umgekehrte Aufgabe besitzen zahlreiche Anwendungen. Allerdings bleibt die Synthese von Fotos aus Skizzen bzw. von Skizzen aus Fotos aufgrund der unterschiedlichen charakteristischen Eigenschaften von Fotos und Skizzen weiterhin eine herausfordernde Aufgabe. In dieser Arbeit betrachten wir dieses Problem als ein Bild-zu-Bild-Übersetzungsproblem und untersuchen kürzlich populäre generative Modelle (GANs), um hochwertige, realistische Fotos aus Skizzen sowie Skizzen aus Fotos zu generieren. Neuere GAN-basierte Ansätze haben bereits vielversprechende Ergebnisse bei Bild-zu-Bild-Übersetzungsproblemen, insbesondere bei der Foto-zu-Skizze-Synthese, erzielt. Sie weisen jedoch begrenzte Fähigkeiten zur Erzeugung hochauflösender, realistischer Bilder auf. Um diesem Manko entgegenzuwirken, schlagen wir einen neuen Syntheseframework namens Photo-Sketch Synthesis using Multi-Adversarial Networks (PS²-MAN) vor, der iterativ Bilder von geringer zu hoher Auflösung adversarially generiert. Die versteckten Schichten des Generators werden dabei zunächst so trainiert, niedrigauflösende Bilder zu erzeugen, gefolgt von einer impliziten Verbesserung innerhalb des Netzwerks zur Generierung hochauflösender Bilder. Zudem berücksichtigen wir, dass die Foto-Skizze-Synthese ein gekoppeltes/paralles Übersetzungsproblem darstellt, und nutzen daher die Paarinformationen mittels des CycleGAN-Rahmenwerks. Um die überlegene Leistung unseres Frameworks gegenüber bestehenden state-of-the-art-Lösungen zu demonstrieren, führen wir sowohl Bewertungen der Bildqualität (Image Quality Assessment, IQA) als auch Matching-Experimente zwischen Fotos und Skizzen durch. Der Quellcode ist unter folgender URL verfügbar: https://github.com/lidan1/PhotoSketchMAN.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp