HyperAIHyperAI

Command Palette

Search for a command to run...

MMGCN : Fusion multimodale via un réseau de convolution de graphe profond pour la reconnaissance des émotions dans les conversations

Jingwen Hu Yuchen Liu Jinming Zhao Qin Jin

Résumé

La reconnaissance des émotions dans les conversations (ERC) constitue un élément fondamental des systèmes dialogiques affectifs, permettant au système de comprendre les émotions des utilisateurs et de générer des réponses empathiques. Toutefois, la plupart des travaux se concentrent principalement sur la modélisation de l’information du locuteur et du contexte à travers la modalité textuelle, ou exploitent de manière simpliste les informations multimodales par concaténation de caractéristiques. Afin d’explorer une approche plus efficace pour tirer parti à la fois des informations multimodales et du contexte à longue portée, nous proposons dans ce travail un nouveau modèle basé sur un réseau de convolution graphique à fusion multimodale, nommé MMGCN. Ce modèle permet non seulement d’exploiter efficacement les dépendances multimodales, mais aussi de tirer parti des informations relatives aux locuteurs pour modéliser à la fois les dépendances inter-locuteurs et intra-locuteurs. Nous évaluons notre modèle proposé sur deux jeux de données publiques de référence, IEMOCAP et MELD, et les résultats démontrent l’efficacité de MMGCN, qui surpasse significativement les méthodes de l’état de l’art dans un cadre de conversation multimodale.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp