다변량, 다주파수, 다모달: 대화 내 감정 인식을 위한 그래프 신경망의 재고

대화 내 감정 인식(Emotion Recognition in Conversation, ERC) 작업에서 모달리티 및 맥락 차원에 걸쳐 고차원(high arity)의 복잡한 관계를 효과적으로 모델링하는 것은 핵심적인 과제이다. 그러나 기존 연구들은 다중 모달 및 맥락적 관계를 느슨하게 결합된 방식으로 인코딩하는 경향이 있어, 관계 모델링에 부정적인 영향을 미칠 수 있다. 최근에는 데이터 간 관계를 효과적으로 포착할 수 있는 장점이 있는 그래프 신경망(Graph Neural Networks, GNN)이 ERC 문제 해결을 위한 새로운 접근법으로 주목받고 있다. 그러나 기존의 GNN 기반 ERC 모델들은 GNN의 일반적인 한계, 즉 쌍별(pairwise) 형식을 전제로 하고 고주파 신호(high-frequency signals)를 소거하는 문제를 해결하지 못하고 있다. 이러한 문제는 많은 응용 분야에서는 무시할 수 있지만 ERC 작업에서는 매우 중요한 요소이다. 본 논문에서는 다변량 관계를 탐색하고, 감정의 차이와 공통성의 중요도 변화를 다중 주파수 신호의 가치를 고려함으로써 포착하는 GNN 기반 모델을 제안한다. 이를 통해 GNN이 발화들 간 내재된 관계를 보다 정확히 포착하고, 다중 모달 및 맥락적 정보를 더욱 충분히 모델링할 수 있도록 한다. 실험 결과, 제안하는 방법이 두 가지 대표적인 다중 모달 ERC 데이터셋에서 기존 최고 성능 모델들을 모두 능가함을 확인하였다.