18일 전
기반의 병렬 인코딩을 통한 정서 인식 및 감성 분석
Jean-Benoit Delbrouck, Noé Tits, Mathilde Brousmiche, Stéphane Dupont

초록
감정과 감성의 표현을 이해하는 것은 인간의 다중모달 언어에서 두 가지 핵심적인 요소이다. 본 논문에서는 감정 인식 및 감성 분석 작업을 위한 트랜스포머 기반 공동 인코딩(Transformer-based Joint-Encoding, TBJE) 모델을 제안한다. 본 연구는 트랜스포머 아키텍처를 활용할 뿐만 아니라, 모듈형 공동 주의(multi-modal co-attention) 및 그레임프 레이어(glimpse layer)를 도입하여 하나 이상의 모달리티를 공동으로 인코딩하는 데 기반한다. 제안된 솔루션은 CMU-MOSEI 데이터셋을 기반으로 평가되는 ACL20: 제2회 다중모달 언어 대규모 챌린지(Second Grand-Challenge on Multimodal Language)에 제출된 바 있다. 제시된 실험을 재현하기 위한 코드는 오픈소스로 제공되며, 다음 링크에서 확인할 수 있다: https://github.com/jbdel/MOSEI_UMONS.