HTNet pour la reconnaissance des micro-expressions

L'expression faciale est liée aux contractions musculaires du visage et différents mouvements musculaires correspondent à différents états émotionnels. Pour la reconnaissance des micro-expressions, les mouvements musculaires sont généralement subtils, ce qui a un impact négatif sur les performances des algorithmes actuels de reconnaissance des émotions faciales. La plupart des méthodes existantes utilisent des mécanismes d'auto-attention pour capturer les relations entre les jetons dans une séquence, mais elles ne prennent pas en compte les relations spatiales inhérentes entre les points caractéristiques du visage. Cela peut entraîner des performances sous-optimales dans les tâches de reconnaissance des micro-expressions. Par conséquent, apprendre à reconnaître les mouvements musculaires faciaux est un défi majeur dans le domaine de la reconnaissance des micro-expressions.Dans cet article, nous proposons un réseau de transformateurs hiérarchique (HTNet) pour identifier les zones critiques du mouvement musculaire facial. HTNet comprend deux composants principaux : une couche de transformateur qui exploite les caractéristiques temporelles locales et une couche d'agrégation qui extrait les caractéristiques sémantiques faciales locales et globales. Plus précisément, HTNet divise le visage en quatre zones faciales différentes : la zone labiale gauche, la zone oculaire gauche, la zone oculaire droite et la zone labiale droite. La couche de transformateur est utilisée pour se concentrer sur la représentation des petits mouvements musculaires locaux par l'auto-attention locale dans chaque zone. La couche d'agrégation est utilisée pour apprendre les interactions entre les zones oculaires et les zones labiales.Les expériences menées sur quatre jeux de données de micro-expressions publiquement disponibles montrent que l'approche proposée surpass largement les méthodes précédentes. Les codes et modèles sont disponibles à l'adresse suivante :\url{https://github.com/wangzhifengharrison/HTNet}