POSTER++ : Un réseau de reconnaissance d'expressions faciales plus simple et plus puissant

La reconnaissance des expressions faciales (FER) joue un rôle crucial dans de nombreuses applications du monde réel, telles que l’interaction homme-machine. POSTER atteint actuellement les performances les plus élevées (SOTA) en FER en combinant efficacement les caractéristiques des points de repère faciaux et celles de l’image grâce à une architecture à deux flux basée sur une fusion pyramidale croisée. Toutefois, l’architecture de POSTER est indéniablement complexe, entraînant des coûts computationnels élevés. Afin de réduire la pression computationnelle imposée par POSTER, nous proposons dans cet article POSTER++. Cette nouvelle approche améliore POSTER sur trois aspects : la fusion croisée, l’architecture à deux flux et l’extraction de caractéristiques multi-échelle. Concernant la fusion croisée, nous remplaçons le mécanisme de cross-attention classique par un mécanisme de cross-attention basé sur fenêtres. Nous éliminons la branche image → points de repère dans l’architecture à deux flux. Pour l’extraction multi-échelle, POSTER++ combine les caractéristiques multi-échelle des images et des points de repère, remplaçant ainsi la structure pyramidale de POSTER. Des expériences étendues sur plusieurs jeux de données standards montrent que POSTER++ atteint les performances SOTA en FER tout en nécessitant un coût computationnel minimal. Par exemple, POSTER++ atteint 92,21 % sur RAF-DB, 67,49 % sur AffectNet (7 classes) et 63,77 % sur AffectNet (8 classes), en utilisant uniquement 8,4 G d’opérations à virgule flottante (FLOPs) et 43,7 M de paramètres (Param). Ces résultats démontrent l’efficacité de nos améliorations.