Étiquetage morphosyntaxique multilingue avec des modèles de mémoire à court et long terme bidirectionnels et une perte auxiliaire

Les réseaux de mémoire à court et long terme bidirectionnels (bi-LSTM) ont récemment fait leurs preuves pour diverses tâches de modélisation de séquences en traitement du langage naturel (NLP), mais peu de choses sont connues concernant leur dépendance aux représentations d'entrée, aux langues cibles, à la taille des ensembles de données et au bruit des étiquettes. Nous abordons ces questions et évaluons les bi-LSTMs avec des plongements (embeddings) basés sur les mots, les caractères et les octets Unicode pour l'étiquetage morpho-syntaxique (POS tagging). Nous comparons les bi-LSTMs aux étiqueteurs POS traditionnels en fonction des langues et des tailles de données. Nous présentons également un nouveau modèle bi-LSTM qui combine la fonction de perte pour l'étiquetage POS avec une fonction de perte auxiliaire prenant en compte les mots rares. Ce modèle obtient des performances d'état de l'art sur 22 langues et fonctionne particulièrement bien pour les langues à morphologie complexe. Notre analyse suggère que les bi-LSTMs sont moins sensibles à la taille des données d'entraînement et aux corruptions d'étiquettes (à faibles niveaux de bruit) qu'on ne le supposait précédemment.