HyperAIHyperAI

Command Palette

Search for a command to run...

Étiquetage robuste de la classe grammaticale dans plusieurs langues par entraînement adversarial

Michihiro Yasunaga; Jungo Kasai; Dragomir Radev

Résumé

L'entraînement adversarial (AT) est une méthode de régularisation puissante pour les réseaux de neurones, visant à atteindre une robustesse face aux perturbations des entrées. Cependant, les effets spécifiques de la robustesse obtenue par l'AT restent encore obscurs dans le contexte du traitement automatique des langues naturelles. Dans cet article, nous proposons et analysons un modèle de marquage morphosyntaxique neuronal qui exploite l'AT. Dans nos expériences sur le corpus Penn Treebank WSJ et l'ensemble de données Universal Dependencies (UD) (27 langues), nous constatons que l'AT non seulement améliore la précision globale du marquage, mais aussi 1) prévient efficacement le surapprentissage dans les langues à ressources limitées et 2) augmente la précision du marquage pour les mots rares ou inconnus. Nous démontrons également que 3) l'amélioration de la performance du marquage grâce à l'AT contribue à la tâche en aval d'analyse syntaxique dépendancielle, et que 4) l'AT aide le modèle à apprendre des représentations de mots plus propres. 5) Le modèle AT proposé est généralement efficace pour différentes tâches d'étiquetage séquentiel. Ces résultats positifs motivent une utilisation ultérieure de l'AT pour les tâches liées au traitement automatique des langues naturelles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Étiquetage robuste de la classe grammaticale dans plusieurs langues par entraînement adversarial | Articles | HyperAI