HyperAIHyperAI

Command Palette

Search for a command to run...

Attention Biaffine Profonde pour l'Analyse de Dépendance Neuronale

Timothy Dozat Christopher D. Manning

Résumé

Ce travail s'appuie sur les recherches récentes de Kiperwasser & Goldberg (2016) en utilisant l'attention neuronale dans un analyseur syntaxique dépendanciel basé sur des graphes simples. Nous utilisons un analyseur plus grand mais mieux régularisé que d'autres approches récentes basées sur les BiLSTM, avec des classifieurs biaffines pour prédire les arcs et les étiquettes. Notre analyseur obtient des performances de pointe ou quasi de pointe sur des corpus standardisés pour six langues différentes, atteignant 95,7 % d'UAS (Unlabeled Attachment Score) et 94,1 % de LAS (Labeled Attachment Score) sur le jeu de données PTB anglais le plus populaire. Cela en fait l'analyseur syntaxique basé sur des graphes le plus performant sur ce banc d'essai, surpassant Kiperwasser & Goldberg (2016) de 1,8 % en UAS et 2,2 % en LAS, et se comparant au meilleur analyseur syntaxique basé sur des transitions (Kuncoro et al., 2016), qui atteint 95,8 % d'UAS et 94,6 % de LAS. Nous montrons également quelles options d'hyperparamètres ont eu un effet significatif sur la précision de l'analyse syntaxique, nous permettant ainsi d'obtenir des gains importants par rapport aux autres approches basées sur des graphes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp