컨텍스추얼 인터모달 어텐션을 활용한 멀티모달 감성 분석

다중모달 감성 분석은 텍스트, 시각적 정보, 음성 등 다양한 입력 모달 간의 효과적인 통합이라는 여러 도전 과제를 안고 있다. 본 논문에서는 문장 수준의 감성 예측을 위해 맥락 정보를 활용하는 순환 신경망 기반의 다중모달 주의(attention) 프레임워크를 제안한다. 제안된 방법은 다중모달 다중 발화 표현에 주의 메커니즘을 적용하여, 각 모달 간의 기여도를 학습하는 것을 목표로 한다. 제안된 접근법은 두 가지 표준 다중모달 감성 분석 데이터셋, 즉 CMU 다중모달 의견 수준 감성 강도(CMU-MOSI) 코퍼스와 최근 공개된 CMU 다중모달 의견 감성 및 정서 강도(CMU-MOSEI) 코퍼스를 대상으로 평가하였다. 평가 결과, MOSI 데이터셋과 MOSEI 데이터셋에 대해 각각 82.31%, 79.80%의 정확도를 기록하였으며, 각각 기존 최고 성능 모델 대비 약 2점과 1점의 성능 향상이 이루어졌다.