L'appariement facial inter-modal entre les spectres thermique et visible est une capacité très recherchée pour les applications de surveillance et de sécurité nocturnes. En raison d'un écart modal très important, la reconnaissance faciale thermique-à-visible est l'un des problèmes d'appariement facial les plus complexes. Dans cet article, nous présentons une approche visant à réduire considérablement cet écart modal. Notre méthode capture la relation hautement non-linéaire entre les deux modalités en utilisant un réseau neuronal profond. Notre modèle tente d'apprendre une transformation non-linaire du spectre visible au spectre thermique tout en préservant les informations d'identité. Nous démontrons une amélioration substantielle des performances sur trois jeux de données difficiles de faces thermiques-à-visibles. L'approche présentée améliore l'état de l'art de plus de 10 % sur le jeu de données UND-X1 et de plus de 15-30 % sur le jeu de données NVESD en termes d'identification Rank-1. Notre méthode réduit la baisse des performances due à l'écart modal de plus de 40 %.