Synthèse de visage contrôlable et guidée pour la reconnaissance faciale en conditions non contraintes

Bien que des progrès significatifs aient été réalisés en reconnaissance faciale (FR), celle-ci reste un défi dans des environnements non contraints en raison de l’écart de domaine entre les jeux de données d’entraînement semi-contraints et les scénarios de test non contraints. Pour remédier à ce problème, nous proposons un modèle de synthèse faciale contrôlable (CFSM) capable de reproduire la distribution des jeux de données cibles dans un espace latent de style. Le CFSM apprend un sous-espace linéaire doté de bases orthogonales dans l’espace latent de style, offrant un contrôle précis sur la diversité et le degré de synthèse. En outre, le modèle de synthèse pré-entraîné peut être guidé par le modèle de reconnaissance faciale, ce qui rend les images générées plus pertinentes pour l’entraînement du modèle FR. Par ailleurs, les distributions des jeux de données cibles sont caractérisées par les bases orthogonales apprises, permettant ainsi de mesurer la similarité distributionnelle entre différents jeux de données faciaux. Notre approche permet d’obtenir des gains de performance importants sur des benchmarks non contraints, tels que IJB-B, IJB-C, TinyFace et IJB-S (+5,76 % en précision Rank1).