야생에서의 다중모달 언어 분석: CMU-MOSEI 데이터셋과 해석 가능한 동적 융합 그래프

다중모달 언어의 인간적 분석은 자연어처리(NLP) 분야에서 등장한 새로운 연구 분야이다. 본질적으로 이 언어는 이질적이고 순차적이며 비동기적인 특성을 지닌다. 즉, 언어(단어), 시각(표정), 청각(부언적 특성) 모달리티가 비동기적으로 조화를 이룬 시퀀스 형태로 구성된다. 자원 측면에서 이러한 언어 형태에 대한 심층적 연구를 가능하게 할 대규모 데이터셋의 필요성이 절실하다. 본 논문에서는 감정 분석 및 감정 인식 분야에서 지금까지 가장 큰 규모의 데이터셋인 CMU 다중모달 의견 감정 및 감정 강도(CMU-MOSEI)를 소개한다. CMU-MOSEI 데이터셋과 새로운 다중모달 융합 기법인 동적 융합 그래프(Dynamic Fusion Graph, DFG)를 활용하여, 인간의 다중모달 언어에서 각 모달리티 간의 상호작용 방식을 탐구하는 실험을 수행한다. 기존에 제안된 융합 기법들과 달리 DFG는 높은 해석 가능성을 지니고 있으며, 기존 최고 성능 모델들과 비교해 경쟁적인 성능을 달성하였다.