HyperAIHyperAI

Command Palette

Search for a command to run...

COGMEN : reconnaissance émotionnelle multimodale basée sur les GNN contextualisés

Abhinav Joshi Ashwani Bhat Ayush Jain Atin Vikram Singh Ashutosh Modi

Résumé

Les émotions constituent une composante intrinsèque des interactions humaines, et il est donc essentiel de développer des systèmes d’intelligence artificielle capables de comprendre et de reconnaître les émotions humaines. Lors d’une conversation impliquant plusieurs personnes, l’état émotionnel d’un individu est influencé par les énoncés des autres interlocuteurs ainsi que par son propre état émotionnel au fil des échanges. Dans cet article, nous proposons un système de reconnaissance émotionnelle multimodale basé sur un réseau neuronal de graphes contextualisés, dénommé COGMEN (COntextualized Graph Neural Network based Multimodal Emotion recognitioN). Ce système exploite à la fois les informations locales (c’est-à-dire les dépendances inter- et intra-parlants) et les informations globales (le contexte). L’architecture proposée repose sur un modèle de réseau neuronal de graphes (GNN) afin de modéliser les dépendances complexes — tant locales que globales — présentes dans une conversation. Notre modèle atteint des performances de pointe (SOTA) sur les jeux de données IEMOCAP et MOSEI. Des expériences d’ablation détaillées mettent en évidence l’importance cruciale de la modélisation des informations aux deux niveaux.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp