Command Palette
Search for a command to run...
Analyse sémantique profonde avec auto-attention
Analyse sémantique profonde avec auto-attention
Zhixing Tan; Mingxuan Wang; Jun Xie; Yidong Chen; Xiaodong Shi
Résumé
L'Étiquetage des Rôles Sémantiques (SRL) est considéré comme une étape cruciale vers la compréhension du langage naturel et a été largement étudié. Ces dernières années, l'approche de bout en bout du SRL utilisant des réseaux de neurones récurrents (RNN) a attiré une attention croissante. Cependant, il reste un défi majeur pour les RNN de traiter les informations structurelles et les dépendances à longue portée. Dans cet article, nous présentons une architecture simple et efficace pour le SRL visant à résoudre ces problèmes. Notre modèle repose sur l'auto-attention, qui peut capturer directement les relations entre deux jetons quel que soit leur écart. Notre modèle unique atteint un F1=83,4 sur l'ensemble de données de la tâche partagée CoNLL-2005 et un F1=82,7 sur l'ensemble de données de la tâche partagée CoNLL-2012, surpassant respectivement les résultats précédents de pointe avec un gain de 1,8 et 1,0 point en termes de score F1. De plus, notre modèle est calculatoirement efficace, avec une vitesse d'analyse syntaxique de 50 000 jetons par seconde sur une seule carte GPU Titan X.