Reconnaissance des émotions par la parole utilisant les caractéristiques acoustiques et les embeddings de mots

La reconnaissance des émotions peut être effectuée automatiquement à partir de nombreuses modalités. Ce papier présente une reconnaissance catégorielle des émotions par la parole, basée sur des caractéristiques acoustiques et des embeddings de mots. Les caractéristiques textuelles peuvent être combinées aux caractéristiques vocales afin d’améliorer la précision de la reconnaissance émotionnelle, et les deux types de caractéristiques peuvent être extraits à partir de la parole elle-même. Dans cette étude, nous utilisons des segments de parole obtenus en supprimant les silences dans une énonciation, où les caractéristiques acoustiques sont extraites pour la reconnaissance émotionnelle fondée sur la parole. Les embeddings de mots sont employés comme caractéristiques d’entrée pour la reconnaissance émotionnelle textuelle, et une combinaison des deux types de caractéristiques est proposée dans le but d’améliorer les performances. Deux couches LSTM unidirectionnelles sont utilisées pour le traitement du texte, tandis que des couches entièrement connectées sont appliquées pour la reconnaissance émotionnelle acoustique. Les deux réseaux sont ensuite fusionnés par des couches entièrement connectées selon une approche de fusion précoce, afin de produire une des quatre catégories émotionnelles prédites. Les résultats montrent que la combinaison des modalités vocale et textuelle atteint une précision plus élevée, soit 75,49 %, par rapport à la reconnaissance basée uniquement sur la parole (58,29 %) ou uniquement sur le texte (68,01 %). Ce résultat dépasse également les méthodes précédemment proposées par d’autres chercheurs, utilisant le même jeu de données et les mêmes modalités.