La reconnaissance des expressions faciales est confrontée à des défis lorsque les caractéristiques significatives étiquetées dans les ensembles de données sont mélangées avec des caractéristiques redondantes non étiquetées. Dans cet article, nous introduisons l'Attention de Similarité Croisée (Cross Similarity Attention, CSA) pour extraire une information intrinsèque plus riche à partir de paires d'images, surmontant ainsi une limitation qui se pose lorsqu'on applique directement l'Attention Produit Scalaire Échelonné (Scaled Dot-Product Attention) du ViT pour calculer la similarité entre deux images différentes. Grâce à la CSA, nous minimisons simultanément les différences intra-classe et maximisons les différences inter-classe au niveau des caractéristiques fines grâce aux interactions entre plusieurs branches. La distillation résiduelle contrastive est utilisée pour transférer l'information apprise dans le module croisé vers le réseau de base. Nous avons ingénieusement conçu un réseau symétrique central à quatre branches, nommé Quadruplet Cross Similarity (QCS), qui atténue les conflits de gradient issus du module croisé et réalise une formation équilibrée et stable. Ce réseau peut extraire de manière adaptative des caractéristiques discriminantes tout en isolant les caractéristiques redondantes. Les modules d'attention croisée existent pendant l'entraînement, mais seule une branche de base est conservée pendant l'inférence, ce qui ne provoque aucune augmentation du temps d'inférence. Des expériences approfondies montrent que notre méthode proposée atteint des performances de pointe sur plusieurs ensembles de données de FER (Facial Expression Recognition).