MM-DFN: 대화 내 감정 인식을 위한 다중 모달 동적 융합 네트워크

대화 내 감정 인식(Emotion Recognition in Conversations, ERC)은 공감 능력을 갖춘 기계 개발에 큰 잠재력을 지닌 분야이다. 다모달 ERC의 경우, 대화의 맥락을 이해하고 다양한 모달리티 정보를 융합하는 것이 매우 중요하다. 최근의 그래프 기반 융합 방법들은 그래프 내 단모달 및 교차 모달 상호작용을 탐색함으로써 다모달 정보를 집계하는 방식을 사용하고 있으나, 각 계층에서 중복 정보가 누적되어 모달리티 간의 맥락 이해를 제한하는 문제가 있다. 본 논문에서는 다모달 대화 맥락을 보다 완전히 이해함으로써 감정을 인식할 수 있도록 새로운 다모달 동적 융합 네트워크(Multimodal Dynamic Fusion Network, MM-DFN)를 제안한다. 구체적으로, 대화 내 다모달 맥락 특징을 융합하기 위한 새로운 그래프 기반 동적 융합 모듈을 설계하였다. 이 모듈은 다양한 의미 공간에서 맥락 정보의 동적 특성을 포착함으로써 정보의 중복을 줄이고 모달리티 간의 상보성을 강화한다. 두 개의 공개 벤치마크 데이터셋을 대상으로 실시한 광범위한 실험을 통해 MM-DFN의 효과성과 우수성을 입증하였다.