대화에서 복잡한 힌트 추적: 다중 모드 감정 인식을 위한 그래프 구조와 감성 동역학의 통합

대화에서의 다중 모드 감정 인식(Multimodal Emotion Recognition in Conversation, MERC)은 최근 많은 연구 관심을 받고 있습니다. 기존의 MERC 방법들은 다음과 같은 몇 가지 도전 과제를 직면하고 있습니다: (1) 직접적인 모드 간 신호를 충분히 활용하지 못하여, 완벽한 모드 간 모델링이 이루어지지 않을 수 있으며; (2) 각 네트워크 계층에서 동일한 모드와 다른 모드로부터 정보를 동시에 추출하므로, 다중 소스 데이터의 융합으로 인해 충돌이 발생할 가능성이 있으며; (3) 급격한 감정 변화를 탐지하기 위한 유연성이 부족하여, 갑작스럽게 감정이 변하는 발화를 정확하게 분류하지 못할 수 있습니다.이러한 문제들을 해결하기 위해, 복잡한 감정 신호를 추적하기 위한 새로운 접근 방식인 GraphSmile이 제안되었습니다. GraphSmile은 두 가지 핵심 구성 요소, 즉 GSF와 SDP 모듈로 구성됩니다. GSF는 그래프 구조를 활용하여 계층별로 모드 간 및 모드 내 감정 의존성을 교대로 통합하며, 이로써 모드 간 신호를 적절히 포착하면서 융합 충돌을 효과적으로 회피합니다. SDP는 발화 사이의 감정 동태를 명시적으로 구분하는 보조 작업으로, 모델이 감정 차이를 구별하는 능력을 향상시키는 역할을 합니다.또한, GraphSmile은 대화에서의 다중 모드 감성 분석(Multimodal Sentiment Analysis in Conversation, MSAC)에 쉽게 적용될 수 있으며, MERC와 MSAC 작업을 수행할 수 있는 통합된 다중 모드 영향력 모델을 형성합니다. 여러 벤치마크에서의 실증 결과는 GraphSmile이 복잡한 감정 및 감성 패턴을 처리할 수 있으며, 기준모델들보다 크게 우수함을 입증하였습니다.