He Hu Yucheng Zhou Lianzhong You Hongbo Xu et al

Résumé

Avec l’intégration des modèles linguistiques à grande échelle multimodaux (MLLM) dans les systèmes robotiques et diverses applications d’intelligence artificielle, il est essentiel d’incorporer des capacités d’intelligence émotionnelle (EI) dans ces modèles afin de permettre aux robots de répondre efficacement aux besoins émotionnels humains et d’interagir de manière fluide dans des scénarios du monde réel. Les évaluations existantes, statiques, basées uniquement sur le texte ou sur le texte-image, négligent les complexités multimodales des interactions du monde réel et ne parviennent pas à capturer la nature dynamique et multimodale des expressions émotionnelles, ce qui les rend insuffisantes pour évaluer l’intelligence émotionnelle des MLLM. Sur la base de théories psychologiques établies sur l’intelligence émotionnelle, nous proposons EmoBench-M, un nouveau benchmark conçu pour évaluer la capacité d’intelligence émotionnelle des MLLM à travers 13 scénarios d’évaluation reprenant trois dimensions clés : la reconnaissance fondamentale des émotions, la compréhension des émotions dans les échanges conversationnels, et l’analyse émotionnelle dans des situations sociales complexes. Les évaluations menées sur des MLLM open-source et closed-source sur EmoBench-M révèlent un écart significatif de performance entre ces modèles et les humains, mettant en évidence la nécessité de renforcer davantage leurs capacités d’intelligence émotionnelle. Tous les ressources du benchmark, y compris le code source et les jeux de données, sont accessibles publiquement à l’adresse suivante : [URL].