Étiquetage robuste de la classe grammaticale dans plusieurs langues par entraînement adversarial

L'entraînement adversarial (AT) est une méthode de régularisation puissante pour les réseaux de neurones, visant à atteindre une robustesse face aux perturbations des entrées. Cependant, les effets spécifiques de la robustesse obtenue par l'AT restent encore obscurs dans le contexte du traitement automatique des langues naturelles. Dans cet article, nous proposons et analysons un modèle de marquage morphosyntaxique neuronal qui exploite l'AT. Dans nos expériences sur le corpus Penn Treebank WSJ et l'ensemble de données Universal Dependencies (UD) (27 langues), nous constatons que l'AT non seulement améliore la précision globale du marquage, mais aussi 1) prévient efficacement le surapprentissage dans les langues à ressources limitées et 2) augmente la précision du marquage pour les mots rares ou inconnus. Nous démontrons également que 3) l'amélioration de la performance du marquage grâce à l'AT contribue à la tâche en aval d'analyse syntaxique dépendancielle, et que 4) l'AT aide le modèle à apprendre des représentations de mots plus propres. 5) Le modèle AT proposé est généralement efficace pour différentes tâches d'étiquetage séquentiel. Ces résultats positifs motivent une utilisation ultérieure de l'AT pour les tâches liées au traitement automatique des langues naturelles.