COGMEN: 컨텍스츄얼라이즈드 GNN 기반 다중모달 감정 인식

감정은 인간 상호작용의 본질적인 구성 요소이며, 따라서 인간 감정을 이해하고 인식할 수 있는 AI 시스템을 개발하는 것은 필수적이다. 다양한 사람들이 참여하는 대화 상황에서 한 사람의 감정은 다른 대화자들의 발화와 자신이 발화하는 과정에서 경험하는 감정 상태에 의해 영향을 받는다. 본 논문에서는 대화 내에서 발생하는 복잡한 종속 관계(지역적 정보 및 글로벌 정보)를 효과적으로 모델링하기 위해 지역 정보(즉, 발화자 간/내부의 종속성)와 전반적 맥락 정보를 활용하는 COntextualized Graph Neural Network 기반 다모달 감정 인식 시스템(COGMEN)을 제안한다. 제안된 모델은 그래프 신경망(GNN) 기반 아키텍처를 사용하여 대화 내의 복잡한 종속 관계를 동시에 지역적 및 전반적 맥락 정보 수준에서 모델링한다. 제안된 모델은 IEMOCAP 및 MOSEI 데이터셋에서 최신 기준(SOTA) 성능을 달성하였으며, 철저한 아블레이션 실험을 통해 두 수준의 정보를 동시에 모델링하는 것이 중요한 역할을 한다는 점을 입증하였다.