Transfert d'apprentissage pour l'étiquetage de séquences avec des réseaux récurrents hiérarchiques

Des travaux récents ont montré que les réseaux de neurones obtiennent des performances de pointe sur plusieurs tâches différentes d'étiquetage de séquences. Une propriété attrayante de ces systèmes est leur généralité, car des performances excellentes peuvent être atteintes avec une architecture unifiée et sans ingénierie spécifique des caractéristiques pour chaque tâche. Cependant, il n'est pas clair si de tels systèmes peuvent être utilisés pour des tâches qui ne disposent pas de grandes quantités de données d'entraînement. Dans cet article, nous explorons le problème de l'apprentissage par transfert pour les étiqueteurs de séquences neuronales, où une tâche source avec abondance d'annotations (par exemple, l'étiquetage morphosyntaxique sur la Penn Treebank) est utilisée pour améliorer les performances sur une tâche cible avec moins d'annotations disponibles (par exemple, l'étiquetage morphosyntaxique pour les microblogs). Nous examinons les effets de l'apprentissage par transfert pour des réseaux récurrents hiérarchiques profonds à travers différents domaines, applications et langues, et montrons qu'une amélioration significative peut souvent être obtenue. Ces améliorations entraînent des progrès par rapport à l'état actuel de l'art sur plusieurs tâches bien étudiées.