MTCAE-DFER : Autoencodeur en cascade multi-tâche pour la reconnaissance d'expressions faciales dynamiques

Ce travail développe la branche de réseau en cascade du cadre d'apprentissage multitâche basé sur les autoencodeurs (MTL) pour la reconnaissance dynamique des expressions faciales, nommée Multi-Task Cascaded Autoencoder for Dynamic Facial Expression Recognition (MTCAE-DFER). MTCAE-DFER construit un module de décodeur en cascade « plug-and-play », qui repose sur l'architecture du Vision Transformer (ViT) et utilise le concept de décodeur du Transformer pour reconstruire le module d'attention multi-têtes. La sortie du décodeur de la tâche précédente sert de requête (Q), représentant les caractéristiques dynamiques locales, tandis que la sortie partagée de l'encodeur Video Masked Autoencoder (VideoMAE) agit à la fois comme clé (K) et valeur (V), représentant les caractéristiques dynamiques globales. Cette configuration facilite l'interaction entre les caractéristiques dynamiques globales et locales au sein des tâches connexes. De plus, cette proposition vise à atténuer le surapprentissage des modèles complexes et volumineux. Nous utilisons une approche d'apprentissage multitâche en cascade basée sur les autoencodeurs pour explorer l'impact de la détection dynamique du visage et des points d'intérêt dynamiques du visage sur la reconnaissance dynamique des expressions faciales, ce qui améliore la capacité de généralisation du modèle. Après avoir mené des expériences ablationnelles exhaustives et comparé notre méthode avec celles de pointe (SOTA) sur divers jeux de données publics pour la reconnaissance dynamique des expressions faciales, nous avons prouvé la robustesse du modèle MTCAE-DFER ainsi que l'efficacité de l'interaction entre les caractéristiques dynamiques globales et locales parmi les tâches connexes.