Réseaux d'Attention Régionale pour la Reconnaissance Robuste des Expressions Faciales en Présence de Posture et d'Occlusion
L'occlusion et les variations de posture, qui peuvent modifier considérablement l'apparence faciale, constituent deux obstacles majeurs pour la Reconnaissance Automatique des Expressions Faciales (RAEF). Bien que la RAEF ait connu des progrès substantiels au cours des dernières décennies, les problèmes de robustesse à l'occlusion et d'invariance à la posture n'ont reçu que peu d'attention, en particulier dans des scénarios réels. Cet article aborde le problème de la RAEF robuste aux postures et aux occlusions réelles avec trois contributions principales. Premièrement, pour stimuler la recherche sur la RAEF sous des occlusions et des postures variables réelles, nous avons créé plusieurs jeux de données d'expressions faciales dans le monde réel avec des annotations manuelles pour la communauté scientifique. Deuxièmement, nous proposons un nouveau Réseau d'Attention Régionale (RAN) pour capturer de manière adaptative l'importance des régions faciales dans le cadre de la RAEF avec occlusion et variation de posture. Le RAN agrège et intègre un nombre variable de caractéristiques régionales produites par un réseau neuronal convolutif principal en une représentation compacte de longueur fixe. Enfin, inspirés par le fait que les expressions faciales sont principalement définies par les unités d'action faciale, nous proposons une perte biaisée par région pour encourager des poids d'attention élevés pour les régions les plus importantes. Nous validons notre RAN et notre perte biaisée par région sur nos propres jeux de données de test ainsi que sur quatre jeux de données populaires : FERPlus, AffectNet, RAF-DB et SFEW. Des expériences approfondies montrent que notre RAN et notre perte biaisée par région améliorent considérablement les performances de la RAEF en présence d'occlusions et de variations de posture. Notre méthode atteint également des résultats à l'état de l'art sur FERPlus, AffectNet, RAF-DB et SFEW. Le code source et les données de test collectées seront mis à disposition publiquement.