Command Palette
Search for a command to run...
Zur realistischen Synthese von Gesichtsfotos aus Skizzen mittels zusammensetzungshilfender GANs
Zur realistischen Synthese von Gesichtsfotos aus Skizzen mittels zusammensetzungshilfender GANs
Zusammenfassung
Die Synthese von Gesichtsfotos aus Skizzen (oder umgekehrt) zielt darauf ab, ein Gesichtsskizze/Foto unter der Bedingung eines gegebenen Fotos/Skizze zu erzeugen. Diese Technik findet breite Anwendung in Bereichen wie digitale Unterhaltung und Strafverfolgung. Die präzise Abbildung von Gesichtsfotos oder -skizzen bleibt jedoch herausfordernd, da strukturelle Realismus und texturale Konsistenz eingeschränkt sind. Obwohl bestehende Methoden beeindruckende Ergebnisse erzielen, führen sie häufig zu verschwommenen Effekten und starken Verzerrungen verschiedener Gesichtsanteile, was zu unrealistischen Eindrücken der synthetisierten Bilder führt. Um dieser Herausforderung zu begegnen, schlagen wir in diesem Werk vor, Informationen zur Gesichtszusammensetzung zur Unterstützung der Synthese von Gesichtsskizzen/Fotos einzusetzen. Speziell stellen wir ein neuartiges, zusammensetzungshilfesystematisches generatives adversariales Netzwerk (CA-GAN) für die Gesichtsfoto-Skizzen-Synthese vor. Im CA-GAN nutzen wir gepaarte Eingaben, bestehend aus einem Gesichtsfoto/Skizze sowie den entsprechenden pixelgenauen Gesichtslabels, um eine Skizze/Foto zu generieren. Darüber hinaus schlagen wir eine zusammensetzungsbasierte Rekonstruktionsverlustfunktion vor, um das Training auf schwierig zu generierende Komponenten und feine Gesichtsstrukturen zu fokussieren. Schließlich verwenden wir gestapelte CA-GANs (SCA-GAN), um Defizite weiter zu korrigieren und überzeugende Details hinzuzufügen. Experimentelle Ergebnisse zeigen, dass unsere Methode in der Lage ist, sowohl visuell angenehme als auch identitätsbewahrende Gesichtsskizzen/Fotos über eine breite Palette herausfordernder Daten zu erzeugen. Unsere Methode erreicht eine Stand der Technik-Leistung und reduziert den besten vorherigen Frechet-Inception-Distanz-Wert (FID) erheblich. Zudem demonstrieren wir, dass die vorgeschlagene Methode eine beachtliche Verallgemeinerungsfähigkeit besitzt. Wir stellen unseren Code und die Ergebnisse öffentlich zur Verfügung: https://fei-hdu.github.io/ca-gan/.