He Hu Yucheng Zhou Lianzhong You Hongbo Xu et al

초록

다중모달 대규모 언어 모델(Multimodal Large Language Models, MLLMs)이 로봇 시스템 및 다양한 AI 응용 분야에 통합되면서, 이러한 모델에 정서지능(Emotion Intelligence, EI) 능력을 내재화하는 것은 로봇이 인간의 정서적 needs를 효과적으로 파악하고 현실 세계의 상황에서 원활하게 상호작용할 수 있도록 하기 위해 필수적이다. 기존의 정적 텍스트 기반 또는 텍스트-이미지 기반의 평가 기준들은 현실 세계의 상호작용에서 나타나는 다중모달적 복잡성을 간과하고 있으며, 정서 표현의 동적이고 다중모달적인 특성을 충분히 반영하지 못하므로 MLLMs의 정서지능을 평가하기에는 부적절하다. 심리학적 정서지능 이론을 기반으로, 본 연구는 기초적 정서 인식, 대화 기반 정서 이해, 사회적 복잡성에 기반한 정서 분석의 세 가지 핵심 차원에서 13가지 평가 시나리오를 포함하는 새로운 평가 기준인 EmoBench-M을 제안한다. 오픈소스 및 클로즈드소스 MLLMs를 EmoBench-M 기준으로 평가한 결과, 모델과 인간 간에 큰 성능 차이가 존재함을 확인하였으며, 이는 MLLMs의 정서지능 능력을 더욱 향상시켜야 함을 시사한다. 본 평가 기준의 모든 자원(코드 및 데이터셋 포함)은 공개적으로 제공되며, 해당 URL에서 접근 가능하다.