초록
대화 내 감정 분석 및 감성 탐지 는 여러 실제 응용 분야에서 핵심적인 역할을 하며, 가용한 모달리티(modality)의 증가가 기저 감정을 보다 깊이 있게 이해하는 데 기여하고 있다. 다중 모달 감정 탐지 및 감성 분석은 특히, 사용 가능한 데이터에 따라 특정 모달리티 하위 집합을 활용할 수 있다는 점에서 유용하다. 그러나 현재의 다중 모달 기능을 처리하는 시스템들은 대화의 맥락을 모든 모달리티를 통해 효과적으로 활용하고 포착하지 못하며, 청취자와 발화자 간 감정 상태 간의 상호 의존성, 그리고 가용한 모달리티 간의 관련성과 관계를 충분히 반영하지 못하고 있다. 본 논문에서는 위에서 지적한 모든 한계를 고려하려는 엔드 투 엔드 RNN 아키텍처를 제안한다. 작성 시점에서 제안 모델은 다양한 정확도 및 회귀 지표에서 기준 데이터셋에서 최신 기술(SOTA, State of the Art)을 초과하는 성능을 보였다.