HyperAIHyperAI

Command Palette

Search for a command to run...

Amélioration de l’analyse constituante grâce à l’attention sur les spans

Yuanhe Tian Yan Song Fei Xia Tong Zhang

Résumé

L’analyse constituante est une tâche fondamentale et essentielle pour la compréhension du langage naturel, dans laquelle une bonne représentation des informations contextuelles peut grandement contribuer à son succès. Les n-grammes, qui constituent un type classique de caractéristique pour l’information contextuelle, se sont révélés utiles dans de nombreuses tâches, et pourraient donc également être bénéfiques pour l’analyse constituante si leur modélisation est appropriée. Dans cet article, nous proposons une attention sur les segments (span attention) pour les parseurs constituants basés sur les grilles neurales, afin d’exploiter efficacement les informations n-grammes. Étant donné que les parseurs actuels basés sur les grilles et utilisant un encodeur Transformer représentent les segments par soustraction des états cachés situés aux extrémités du segment, une perte d’information peut survenir, particulièrement pour les segments longs, nous intégrons les n-grammes dans les représentations des segments en les pondérant selon leur contribution au processus de parsing. En outre, nous introduisons une attention catégorielle sur les segments, qui pondère les n-grammes selon différentes catégories de longueur, permettant ainsi d’améliorer particulièrement le parsing des phrases longues. Les résultats expérimentaux sur trois jeux de données standards largement utilisés démontrent l’efficacité de notre approche pour le parsing de l’arabe, du chinois et de l’anglais, où notre méthode atteint des performances de pointe sur l’ensemble des trois langues.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Amélioration de l’analyse constituante grâce à l’attention sur les spans | Articles | HyperAI