GraphCFC: 다중 모달 대화형 감정 인식을 위한 방향성 그래프 기반 교차 모달 특징 보완 방법

대화 내 감정 인식(Emotion Recognition in Conversation, ERC)은 공감적 서비스를 제공할 수 있기 때문에 인간-컴퓨터 상호작용(Human-Computer Interaction, HCI) 시스템에서 중요한 역할을 한다. 다중모달 ERC는 단일모달 접근 방식의 한계를 완화할 수 있다. 최근 그래프 신경망(Graph Neural Networks, GNNs)은 관계 모델링에서 뛰어난 성능을 보이며 다양한 분야에서 널리 활용되고 있다. 다중모달 ERC에서 GNN은 장거리 맥락 정보와 모달 간 상호작용 정보를 동시에 추출할 수 있다. 그러나 기존의 MMGCN과 같은 방법들은 다중 모달을 직접 융합하기 때문에 중복 정보가 생성되거나 다양한 정보가 손실될 수 있다는 문제가 있다. 본 연구에서는 맥락 정보와 상호작용 정보를 효율적으로 모델링할 수 있는 방향성 그래프 기반의 다중모달 특징 보완(Graph based Cross-modal Feature Complementation, GraphCFC) 모듈을 제안한다. GraphCFC는 여러 하위공간 추출기와 쌍별 다중모달 보완(Pair-wise Cross-modal Complementary, PairCC) 전략을 활용함으로써 다중모달 융합에서 발생하는 이질성 갭 문제를 완화한다. 구성된 그래프로부터 다양한 유형의 간선을 추출하여 인코딩함으로써, GNN이 메시지 전달 과정에서 보다 정확하게 핵심적인 맥락 정보와 상호작용 정보를 추출할 수 있도록 한다. 또한, 다중모달 학습을 위한 새로운 통합 네트워크 프레임워크를 제공하는 GAT-MLP라는 GNN 구조를 설계하였다. 두 개의 벤치마크 데이터셋에서 수행한 실험 결과, 본 연구에서 제안한 GraphCFC가 최신 기술(SOTA)보다 우수한 성능을 보였다.