HyperAIHyperAI

Command Palette

Search for a command to run...

Analyse sémantique profonde avec auto-attention

Zhixing Tan; Mingxuan Wang; Jun Xie; Yidong Chen; Xiaodong Shi

Résumé

L'Étiquetage des Rôles Sémantiques (SRL) est considéré comme une étape cruciale vers la compréhension du langage naturel et a été largement étudié. Ces dernières années, l'approche de bout en bout du SRL utilisant des réseaux de neurones récurrents (RNN) a attiré une attention croissante. Cependant, il reste un défi majeur pour les RNN de traiter les informations structurelles et les dépendances à longue portée. Dans cet article, nous présentons une architecture simple et efficace pour le SRL visant à résoudre ces problèmes. Notre modèle repose sur l'auto-attention, qui peut capturer directement les relations entre deux jetons quel que soit leur écart. Notre modèle unique atteint un F1=83,4_1=83,41=83,4 sur l'ensemble de données de la tâche partagée CoNLL-2005 et un F1=82,7_1=82,71=82,7 sur l'ensemble de données de la tâche partagée CoNLL-2012, surpassant respectivement les résultats précédents de pointe avec un gain de 1,8 et 1,0 point en termes de score F1_11. De plus, notre modèle est calculatoirement efficace, avec une vitesse d'analyse syntaxique de 50 000 jetons par seconde sur une seule carte GPU Titan X.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp