emotion2vec: 음성 감정 표현을 위한 자기지도 학습 사전 훈련

우리는 감정2벡(Emotion2Vec)을 제안한다. 감정2벡은 자기지도 온라인 디스틸레이션(self-supervised online distillation)을 통해 오픈소스의 레이블 없이 제공된 감정 데이터를 사전 학습하며, 사전 학습 과정에서 문장 수준 손실과 프레임 수준 손실을 동시에 활용한다. 감정2벡은 주요 IEMOCAP 데이터셋에서 음성 감정 인식 작업에 대해 선형 계층만을 훈련시켜도 최신의 사전 학습된 일반 모델 및 감정 전문 모델을 모두 능가한다. 또한, 감정2벡은 10개의 다양한 언어로 구성된 음성 감정 인식 데이터셋에서 일관된 성능 향상을 보였다. 감정2벡은 노래 감정 인식, 대화 내 감정 예측, 감성 분석 등 다른 감정 관련 작업에서도 뛰어난 성능을 나타냈다. 비교 실험, 제거 실험(ablation study), 시각화 분석을 통해 제안된 감정2벡의 일반화 능력이 종합적으로 입증되었다. 우리 지식상 감정2벡은 다양한 감정 관련 작업에서 최초로 제안된 일반화된 표현 모델이며, 이 분야의 공백을 채우는 중요한 성과이다.