UniMSE: 통합 다중모달 감정 분석 및 감정 인식을 향하여

다중모달 감정 분석(MSA) 및 대화 내 감정 인식(ERC)은 컴퓨터가 인간 행동을 이해하는 데 있어 핵심적인 연구 주제이다. 심리학적 관점에서 감정은 짧은 시간 동안 나타나는 감정 상태 또는 감각의 표현이지만, 감성(sentiment)은 더 오랜 기간 동안 형성되고 지속되는 상태이다. 그러나 기존 대부분의 연구는 감성과 감정을 별개로 다루며, 두 개념 간 상호 보완적인 지식을 충분히 활용하지 못하고 있다. 본 논문에서는 특징, 레이블, 모델 차원에서 MSA와 ERC 작업을 통합하는 다중모달 감성 지식 공유 프레임워크(UniMSE)를 제안한다. 우리는 문법적 및 의미적 수준에서 모달 간 융합을 수행하고, 모달 간 및 샘플 간의 대조 학습(contrastive learning)을 도입하여 감성과 감정 간의 차이점과 일관성을 보다 효과적으로 포착한다. MOSI, MOSEI, MELD, IEMOCAP 등 네 가지 공개 벤치마크 데이터셋에서의 실험을 통해 제안된 방법의 유효성을 입증하였으며, 최첨단 기법들과 비교해 일관된 성능 향상을 달성하였다.