HyperAIHyperAI

Command Palette

Search for a command to run...

Zur realistischen Synthese von Gesichtsfotos aus Skizzen mittels zusammensetzungshilfender GANs

Zusammenfassung

Die Synthese von Gesichtsfotos aus Skizzen (oder umgekehrt) zielt darauf ab, ein Gesichtsskizze/Foto unter der Bedingung eines gegebenen Fotos/Skizze zu erzeugen. Diese Technik findet breite Anwendung in Bereichen wie digitale Unterhaltung und Strafverfolgung. Die präzise Abbildung von Gesichtsfotos oder -skizzen bleibt jedoch herausfordernd, da strukturelle Realismus und texturale Konsistenz eingeschränkt sind. Obwohl bestehende Methoden beeindruckende Ergebnisse erzielen, führen sie häufig zu verschwommenen Effekten und starken Verzerrungen verschiedener Gesichtsanteile, was zu unrealistischen Eindrücken der synthetisierten Bilder führt. Um dieser Herausforderung zu begegnen, schlagen wir in diesem Werk vor, Informationen zur Gesichtszusammensetzung zur Unterstützung der Synthese von Gesichtsskizzen/Fotos einzusetzen. Speziell stellen wir ein neuartiges, zusammensetzungshilfesystematisches generatives adversariales Netzwerk (CA-GAN) für die Gesichtsfoto-Skizzen-Synthese vor. Im CA-GAN nutzen wir gepaarte Eingaben, bestehend aus einem Gesichtsfoto/Skizze sowie den entsprechenden pixelgenauen Gesichtslabels, um eine Skizze/Foto zu generieren. Darüber hinaus schlagen wir eine zusammensetzungsbasierte Rekonstruktionsverlustfunktion vor, um das Training auf schwierig zu generierende Komponenten und feine Gesichtsstrukturen zu fokussieren. Schließlich verwenden wir gestapelte CA-GANs (SCA-GAN), um Defizite weiter zu korrigieren und überzeugende Details hinzuzufügen. Experimentelle Ergebnisse zeigen, dass unsere Methode in der Lage ist, sowohl visuell angenehme als auch identitätsbewahrende Gesichtsskizzen/Fotos über eine breite Palette herausfordernder Daten zu erzeugen. Unsere Methode erreicht eine Stand der Technik-Leistung und reduziert den besten vorherigen Frechet-Inception-Distanz-Wert (FID) erheblich. Zudem demonstrieren wir, dass die vorgeschlagene Methode eine beachtliche Verallgemeinerungsfähigkeit besitzt. Wir stellen unseren Code und die Ergebnisse öffentlich zur Verfügung: https://fei-hdu.github.io/ca-gan/.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp