Réseau neuronal récurrent pour la classification de texte avec apprentissage multi-tâches

Les méthodes basées sur les réseaux de neurones ont obtenu des progrès considérables dans diverses tâches de traitement du langage naturel. Cependant, dans la plupart des travaux précédents, les modèles sont appris à partir d'objectifs supervisés mono-tâche, qui souffrent souvent d'un manque de données d'entraînement suffisantes. Dans cet article, nous utilisons le cadre d'apprentissage multi-tâche pour apprendre conjointement sur plusieurs tâches connexes. Sur la base de réseaux de neurones récurrents (RNN), nous proposons trois mécanismes différents de partage d'informations pour modéliser le texte avec des couches spécifiques à chaque tâche et des couches partagées. Le réseau complet est entraîné conjointement sur toutes ces tâches. Les expériences menées sur quatre tâches de classification de texte de référence montrent que nos modèles proposés peuvent améliorer les performances d'une tâche grâce à l'aide d'autres tâches connexes.