Comme l'apparence faciale est sujette à des variations intra-classe significatives causées par le processus de vieillissement au fil du temps, la reconnaissance faciale invariante à l'âge (AIFR) reste un défi majeur dans la communauté de la reconnaissance faciale. Pour réduire les disparités intra-classe dues au vieillissement, nous proposons dans cet article une nouvelle approche (appelée Orthogonal Embedding CNNs, ou OE-CNNs) pour apprendre des caractéristiques faciales profondes invariantes à l'âge. Plus précisément, nous décomposons les caractéristiques faciales profondes en deux composantes orthogonales afin de représenter les caractéristiques liées à l'âge et celles liées à l'identité. En conséquence, les caractéristiques liées à l'identité, qui sont robustes au vieillissement, sont utilisées pour l'AIFR. De plus, pour compléter les jeux de données existants sur le vieillissement et faire avancer la recherche dans ce domaine, nous avons construit un tout nouveau jeu de données Cross-Age Face (CAF) à grande échelle. Des expériences approfondies menées sur trois jeux de données publics d'vieillissement facial (MORPH Album 2, CACD-VS et FG-NET) ont montré l'efficacité de notre approche proposée ainsi que la valeur du jeu de données CAF construit pour l'AIFR. Le test de notre algorithme sur l'un des jeux de données les plus populaires en reconnaissance faciale générale (GFR), LFW, démontre également des performances généralisées comparables en GFR.