Dual-Agent GANs für photorealistische und identitätsbewahrende Synthese von Profilgesichtern

Die Synthese realistischer Profilgesichter ist vielversprechend, um tiefgehende, poseinvariante Modelle für die großskalige, unbeschränkte Gesichtserkennung effizienter zu trainieren, indem Stichproben mit extremen Blickwinkeln ergänzt und aufwändige Annotationen vermieden werden. Allerdings kann die Nutzung synthetischer Gesichter aufgrund der Diskrepanz zwischen den Verteilungen synthetischer und realer Gesichtsbilder die gewünschte Leistung nicht erzielen. Um diese Lücke zu schließen, schlagen wir ein Dual-Agent-Generatives adversariales Netzwerk (DA-GAN) vor, das die Realitätsnähe der Ausgabe eines Gesichtssimulators mithilfe unlabeled realer Gesichter verbessert, während gleichzeitig die Identitätsinformation während des Prozesses der Realitätsverbesserung erhalten bleibt. Die beiden Agenten sind speziell dafür ausgelegt, real vs. gefälscht sowie Identitäten gleichzeitig zu unterscheiden. Insbesondere verwenden wir ein kommerziell erhältliches 3D-Gesichtsmodell als Simulator, um Profilgesichter mit variierenden Pose zu generieren. Das DA-GAN nutzt einen vollständig konvolutionellen Netzwerk-Generator zur Erzeugung hochauflösender Bilder und einen Autoencoder als Diskriminator mit den beiden Agenten. Neben der innovativen Architektur führen wir mehrere zentrale Modifikationen am Standard-GAN ein, um Pose und Textur zu bewahren, die Identität zu erhalten und den Trainingsprozess zu stabilisieren: (i) eine Pose-Wahrnehmungsverlustfunktion; (ii) eine Identitäts-Wahrnehmungsverlustfunktion; (iii) einen adversarialen Verlust mit einem Randgleichgewichts-Regularisierungsterm. Experimentelle Ergebnisse zeigen, dass DA-GAN nicht nur überzeugende perceptuelle Ergebnisse liefert, sondern auch signifikant gegenüber den aktuellen State-of-the-Art-Methoden auf dem großskaligen und anspruchsvollen NIST IJB-A-Benchmark für unbeschränkte Gesichtserkennung abschneidet. Darüber hinaus erweist sich das vorgeschlagene DA-GAN als vielversprechende neue Methode zur effektiveren Lösung allgemeiner Transfer-Learning-Aufgaben.