언어 지도형 적응형 하이퍼다중모달 표현 학습을 통한 다중모달 감성 분석

다중모달 감성 분석(Multimodal Sentiment Analysis, MSA)은 언어, 영상, 음성 등 다양한 소스로부터 풍부한 정보를 활용함으로써 효과적인 성과를 보여주지만, 각 모달 간에 존재하는 감성과 무관하거나 상충되는 정보는 성능 향상에 제약을 줄 수 있다. 이러한 문제를 완화하기 위해, 본 연구에서는 언어 특징의 다양한 스케일에서 지시받는 시각 및 음성 특징을 기반으로 감성과 무관하거나 상충되는 정보를 억제하는 표현을 학습하는 적응형 하이퍼모달 학습(Adaptive Hyper-modality Learning, AHL) 모듈을 포함한 적응형 언어 유도 다중모달 트랜스포머(Adaptive Language-guided Multimodal Transformer, ALMT)를 제안한다. 얻어진 하이퍼모달 표현을 통해 모델은 다중모달 융합을 통해 보완적이고 통합적인 표현을 도출하여 효과적인 MSA를 수행할 수 있다. 실제 실험을 통해 ALMT는 MOSI, MOSEI, CH-SIMS 등 여러 대표적인 데이터셋에서 최신 기준(SOTA) 성능을 달성하였으며, 풍부한 제거 실험(ablation study)을 통해 감성과 무관하거나 상충되는 정보 억제 메커니즘의 타당성과 필수성을 입증하였다.