Dual-Agent GANs pour la synthèse de visages de profil photoréalistes et préservant l'identité

La synthèse de visages de profil réalistes s’avère prometteuse pour entraîner de manière plus efficace des modèles profonds invariants à la pose, dans le cadre de la reconnaissance faciale à grande échelle et sans contrainte, en enrichissant les échantillons avec des poses extrêmes tout en évitant les étiquetages fastidieux. Toutefois, l’apprentissage à partir de visages synthétiques peut ne pas atteindre les performances souhaitées en raison de l’écart entre les distributions des images faciales réelles et synthétiques. Pour réduire cette divergence, nous proposons un modèle de réseau génératif adversarial à deux agents (DA-GAN), capable d’améliorer la réalisme des sorties d’un simulateur facial en utilisant des visages réels non étiquetés, tout en préservant rigoureusement l’information d’identité pendant le processus d’affinement du réalisme. Les deux agents sont spécifiquement conçus pour distinguer simultanément entre visages réels et synthétiques, ainsi qu’entre identités différentes. Plus précisément, nous utilisons un modèle 3D facial disponible commercialement comme simulateur pour générer des images de visages de profil à différentes poses. Le DA-GAN exploite un réseau convolutionnel entièrement dédié au générateur afin de produire des images haute résolution, et un auto-encodeur comme discriminateur intégrant les deux agents. En plus de son architecture novatrice, nous introduisons plusieurs modifications clés par rapport au GAN classique afin de préserver la pose et la texture, garantir la conservation de l’identité et stabiliser le processus d’entraînement : (i) une perte de perception de la pose ; (ii) une perte de perception d’identité ; (iii) une perte adversarielle incluant un terme de régularisation à équilibre de frontière. Les résultats expérimentaux démontrent que le DA-GAN non seulement offre des résultats perceptuels convaincants, mais dépasse également significativement les méthodes de pointe sur le benchmark de reconnaissance faciale sans contrainte à grande échelle et exigeant NIST IJB-A. En outre, le DA-GAN proposé apparaît également prometteur comme une nouvelle approche efficace pour résoudre des problèmes généraux d’apprentissage par transfert.