He Hu Yucheng Zhou Lianzhong You Hongbo Xu et al

Abstract

Durch die Integration multimodaler großer Sprachmodelle (MLLMs) in robotische Systeme und verschiedene KI-Anwendungen ist die Einbettung von emotionaler Intelligenz (EI) in diese Modelle entscheidend, um Roboter in die Lage zu versetzen, menschliche emotionale Bedürfnisse effektiv zu erkennen und nahtlos in realen Szenarien zu interagieren. Bestehende statische, textbasierte oder text-bildbasierte Benchmarks übersehen die multimodalen Komplexitäten realer Interaktionen und erfassen nicht die dynamische, multimodale Natur emotionaler Ausdrücke, weshalb sie für die Bewertung der EI-Fähigkeiten von MLLMs unzureichend sind. Auf der Grundlage etablierter psychologischer Theorien zur emotionalen Intelligenz entwickeln wir EmoBench-M, ein neuartiges Benchmark-System, das zur Bewertung der EI-Fähigkeiten von MLLMs über 13 Bewertungsszenarien aus drei zentralen Dimensionen dient: grundlegende Emotionserkennung, emotionale Verständnisfähigkeit im Gespräch sowie Analyse emotionaler Situationen in sozial komplexen Kontexten. Die Bewertung sowohl offener als auch geschlossener MLLMs auf EmoBench-M offenbart eine erhebliche Leistungslücke zwischen diesen Modellen und Menschen, was die Notwendigkeit unterstreicht, ihre Fähigkeiten in Bezug auf emotionale Intelligenz weiter zu verbessern. Alle Benchmark-Ressourcen, einschließlich Code und Datensätze, sind öffentlich unter dieser URL verfügbar.