HyperAIHyperAI

Command Palette

Search for a command to run...

MMER : Apprentissage multimodal multi-tâche pour la reconnaissance d'émotions par la parole

Sreyan Ghosh Utkarsh Tyagi S Ramaneswaran Harshvardhan Srivastava Dinesh Manocha

Résumé

Dans cet article, nous proposons MMER, une nouvelle approche d'apprentissage multimodal multi-tâches pour la reconnaissance des émotions dans la parole. MMER exploite un réseau multimodal original fondé sur une fusion précoce et une attention auto-entre modalités croisées entre les modalités textuelles et acoustiques, tout en résolvant trois nouvelles tâches auxiliaires afin d’améliorer la reconnaissance des émotions à partir d’énoncés parlés. En pratique, MMER surpasser tous nos modèles de référence et atteint des performances de pointe sur le benchmark IEMOCAP. En outre, nous menons des études d’ablation approfondies ainsi qu’une analyse détaillée des résultats pour démontrer l’efficacité de l’approche proposée.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp