초록
다중모달 감성 분석은 소셜미디어 게시물, 고객 서비스 전화, 비디오 블로그 등과 관련성이 높아 최근 주목받고 있다. 본 논문에서는 다중모달 감성 분석의 세 가지 측면을 다룬다. 첫째, 다중 모달 간 상호작용 학습, 즉 여러 모달이 감성에 어떻게 기여하는지에 대한 분석이며, 둘째, 다중모달 상호작용 내 장기적 의존성 학습, 셋째, 단모달 및 다중모달 신호의 융합이다. 이 세 가지 요소 중에서 우리는 다중모달 상호작용을 학습하는 것이 본 문제에 유익함을 확인하였다. 우리는 두 가지 벤치마크 데이터셋, CMU 다중모달 의견 수준 감성 강도(CMU-MOSI) 및 CMU 다중모달 의견 감성 및 감정 강도(CMU-MOSEI) 코퍼스를 대상으로 실험을 수행하였다. 본 연구에서 제안한 방법은 각각 83.9%, 81.1%의 정확도를 기록하였으며, 기존 최고 성능 기법 대비 각각 1.6%, 1.34%의 절대적 성능 향상이 이루어졌다.