TransModality: 다중모달 감정 분석을 위한 Transformer 기반의 엔드투엔드 융합 방법

다중모달 감성 분석은 텍스트, 시각 및 음성 모달리티로부터 추출한 특징을 통해 발화자의 감성 경향을 예측하는 중요한 연구 분야이다. 이 분야의 핵심 과제는 다중모달 정보의 융합 방법이다. 다양한 융합 방법이 제안되었지만, 모달 간 미세한 상관관계를 탐색하기 위해 엔드투엔드 번역 모델을 활용하는 경우는 드물다. 최근 기계 번역 분야에서 Transformer의 성공을 영감으로 삼아, 본 연구에서는 다중모달 감성 분석을 위한 새로운 융합 방법인 TransModality를 제안한다. 우리는 모달 간 번역이 발화자의 종합적 표현을 보다 효과적으로 형성하는 데 기여할 수 있다고 가정한다. Transformer를 활용함으로써 학습된 특징은 원본 모달리티와 대상 모달리티 양쪽의 정보를 동시에 반영하게 된다. 제안한 모델은 CMU-MOSI, MELD, IEMOCAP 등 여러 다중모달 데이터셋에서 검증되었으며, 실험 결과 본 연구에서 제안하는 방법이 최고 성능을 달성함을 확인하였다.