La reconnaissance émotionnelle conversationnelle (CER) suscite un intérêt croissant au sein de la communauté du traitement du langage naturel (NLP). Contrairement à la reconnaissance émotionnelle classique, l'obtention d'une représentation efficace des énoncés sensible au locuteur constitue un défi majeur pour la CER. Dans cet article, nous exploitons la tâche d'identification du locuteur (SI) comme tâche auxiliaire afin d'améliorer la représentation des énoncés dans les conversations. Grâce à cette approche, nous pouvons apprendre des représentations contextuelles mieux informées du locuteur à partir d'un corpus supplémentaire dédié à la SI. Des expériences menées sur deux jeux de données de référence démontrent que l'architecture proposée est particulièrement efficace pour la CER, atteignant de nouveaux résultats de pointe sur les deux jeux de données.