Halbüberwachtes adversariales Lernen zur Generierung fotorealistischer Gesichtsbilder neuer Identitäten aus einem 3D-Formmodell

Wir schlagen einen neuen, von Anfang bis Ende durchgeführten, semi-überwachten adversären Framework vor, um fotorealistische Gesichtsbilder neuer Identitäten mit einem breiten Spektrum an Ausdrucksformen, Haltungen und Beleuchtungen unter Verwendung eines 3D-morphologischen Modells zu generieren. Vorherige adversäre Stiltransfermethoden überwachten ihre Netze entweder mit einer großen Menge an gepaarten Daten oder nutzten ungepaarte Daten in einem stark unterbestimmten bidirektionalen Generierungsframework in einer unüberwachten Weise. Wir führen paarweise adversäre Überwachung ein, um die bidirektionale Domänenanpassung durch eine kleine Anzahl von gepaarten realen und synthetischen Bildern während des Trainings einzuschränken, ergänzt durch eine große Menge an ungepaerten Daten. Um unsere Idee zu validieren, wurden umfangreiche qualitative und quantitative Experimente durchgeführt. Die generierten Gesichtsbilder neuer Identitäten enthalten Vielfalt in Haltung, Beleuchtung und Ausdruck, und die qualitativen Ergebnisse zeigen, dass sie stark vom synthetischen Eingangsbild eingeschränkt sind, während sie Photorealismus hinzufügen und Identitätsinformationen beibehalten. Wir kombinieren die durch das vorgeschlagene Verfahren generierten Gesichtsbilder mit dem realen Datensatz zur Schulung von Gesichtserkennungsalgorithmen. Das Modell wurde auf zwei anspruchsvollen Datensätzen evaluiert: LFW und IJB-A. Wir stellen fest, dass die aus unserem Framework generierten Bilder konsistent die Leistung eines tiefen Gesichtserkennungsnetzes verbessern, das mit dem Oxford VGG Face-Datensatz trainiert wurde, und vergleichbare Ergebnisse wie der Stand der Technik erzielen.