Représentation variationnelle décorrélée pour la reconnaissance faciale hétérogène

L'appariement de visages entre le visible (VIS) et l'infrarouge proche (NIR) est un problème ardu en raison de la disparité significative entre les domaines et du manque de données suffisantes pour former des algorithmes d'appariement inter-modaux. Les approches existantes tentent de résoudre ce problème soit en synthétisant des visages visibles à partir de visages NIR, soit en extrayant des caractéristiques invariantes par domaine à partir de ces modalités, ou encore en projetant des données hétérogènes dans un espace latent commun pour l'appariement inter-modal. Dans cet article, nous adoptons une approche différente en utilisant la Représentation Variationnelle Désentrelacée (DVR) pour l'appariement inter-modal.Tout d'abord, nous modélisons une représentation faciale avec des informations d'identité intrinsèques et leurs variations intra-personne. En explorant l'espace des variables latentes désentrelacées, une borne inférieure variationnelle est employée pour optimiser la distribution postérieure approximative des représentations VIS et NIR. Deuxièmement, afin d'obtenir un espace latent désentrelacé plus compact et discriminatif, nous imposons une minimisation des informations d'identité pour le même sujet ainsi qu'une contrainte d'alignement corrélation détendue entre les variations des modalités VIS et NIR.Un schéma d'optimisation alternatif est proposé pour la partie relative à la représentation variationnelle désentrelacée et celle du réseau de reconnaissance faciale hétérogène. La promotion mutuelle entre ces deux parties réduit efficacement la disparité entre les domaines VIS et NIR et atténue le surapprentissage. Des expériences approfondies sur trois bases de données de reconnaissance faciale hétérogène VIS-NIR difficiles montrent que la méthode proposée réalise des améliorations significatives par rapport aux méthodes les plus avancées actuellement disponibles.