HyperAIHyperAI

Command Palette

Search for a command to run...

MTCAE-DFER : Autoencodeur en cascade multi-tâche pour la reconnaissance d'expressions faciales dynamiques

Peihao Xiang Kaida Wu Ou Bai

Résumé

Ce travail développe la branche de réseau en cascade du cadre d'apprentissage multitâche basé sur les autoencodeurs (MTL) pour la reconnaissance dynamique des expressions faciales, nommée Multi-Task Cascaded Autoencoder for Dynamic Facial Expression Recognition (MTCAE-DFER). MTCAE-DFER construit un module de décodeur en cascade « plug-and-play », qui repose sur l'architecture du Vision Transformer (ViT) et utilise le concept de décodeur du Transformer pour reconstruire le module d'attention multi-têtes. La sortie du décodeur de la tâche précédente sert de requête (Q), représentant les caractéristiques dynamiques locales, tandis que la sortie partagée de l'encodeur Video Masked Autoencoder (VideoMAE) agit à la fois comme clé (K) et valeur (V), représentant les caractéristiques dynamiques globales. Cette configuration facilite l'interaction entre les caractéristiques dynamiques globales et locales au sein des tâches connexes. De plus, cette proposition vise à atténuer le surapprentissage des modèles complexes et volumineux. Nous utilisons une approche d'apprentissage multitâche en cascade basée sur les autoencodeurs pour explorer l'impact de la détection dynamique du visage et des points d'intérêt dynamiques du visage sur la reconnaissance dynamique des expressions faciales, ce qui améliore la capacité de généralisation du modèle. Après avoir mené des expériences ablationnelles exhaustives et comparé notre méthode avec celles de pointe (SOTA) sur divers jeux de données publics pour la reconnaissance dynamique des expressions faciales, nous avons prouvé la robustesse du modèle MTCAE-DFER ainsi que l'efficacité de l'interaction entre les caractéristiques dynamiques globales et locales parmi les tâches connexes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MTCAE-DFER : Autoencodeur en cascade multi-tâche pour la reconnaissance d'expressions faciales dynamiques | Articles | HyperAI