Reconnaissance des émotions par la parole avec apprentissage multi-tâches

La reconnaissance émotionnelle de la parole (SER) consiste à classer la parole dans des catégories émotionnelles telles que : Heureux, En colère, Triste et Neutre. Récemment, l'apprentissage profond a été appliqué à la tâche de SER. Ce papier propose un cadre d'apprentissage multi-tâches (MTL) permettant d'effectuer simultanément la reconnaissance parole- texte et la classification émotionnelle, à l'aide d'un modèle neuronal profond end-to-end basé sur wav2vec-2.0. Des expériences menées sur la base de benchmark IEMOCAP montrent que la méthode proposée atteint des performances de pointe pour la tâche de SER. En outre, une étude d'ablation confirme l'efficacité du cadre MTL proposé.