Zu realistischer Gesichtsfoto-Skizzen-Synthese durch kompositionsgestützte GANs

Die Face Photo-Sketch Synthese zielt darauf ab, ein Gesichtsskizze/Gesichtsfoto basierend auf einem gegebenen Foto/Skizze zu generieren. Sie findet Anwendung in verschiedenen Bereichen, darunter digitale Unterhaltung und Strafverfolgung. Die präzise Darstellung von Gesichtsfotos/Skizzen bleibt aufgrund der Einschränkungen bei struktureller Realismus und texturaler Konsistenz herausfordernd. Obwohl existierende Methoden überzeugende Ergebnisse erzielen, führen sie oft zu verwischten Effekten und starken Verformungen verschiedener Gesichtskomponenten, was das Synthesebild unwirklich wirken lässt. Um dieser Herausforderung zu begegnen, schlagen wir in dieser Arbeit die Verwendung von Gesichtscompositionsinformationen vor, um die Synthese von Gesichtsskizzen/Fotos zu unterstützen. Insbesondere entwickeln wir ein neuartiges compositionsgestütztes generatives adversariales Netzwerk (Composition-Aided Generative Adversarial Network, CA-GAN) für die Face Photo-Sketch Synthese. Im CA-GAN nutzen wir gepaarte Eingaben, einschließlich eines Gesichtsfotos/Skizzen und den entsprechenden pixelgenauen Gesichtsetiketten zur Erzeugung einer Skizze/eines Fotos. Zudem schlagen wir einen kompositionellen Rekonstruktionsverlust vor, um das Training auf schwer zu generierende Komponenten und feine Gesichtsstrukturen zu fokussieren. Schließlich verwenden wir gestapelte CA-GANs (Stacked Composition-Aided Generative Adversarial Networks, SCA-GAN), um Mängel weiterhin zu korrigieren und überzeugende Details hinzuzufügen. Experimentelle Ergebnisse zeigen, dass unsere Methode in der Lage ist, sowohl visuell angenehme als auch identitätsbewahrende Gesichtsskizzen/Fotos über einen breiten Spektrum an anspruchsvollen Daten zu generieren. Unsere Methode erreicht den aktuellen Stand der Technik und reduziert den besten bisherigen Frechet-Inception-Distanz (FID) erheblich. Darüber hinaus demonstrieren wir, dass die vorgeschlagene Methode eine beträchtliche Generalisierungsfähigkeit besitzt. Wir haben unseren Code und unsere Ergebnisse öffentlich zugänglich gemacht: https://fei-hdu.github.io/ca-gan/.