Analyse sémantique profonde avec auto-attention

L'Étiquetage des Rôles Sémantiques (SRL) est considéré comme une étape cruciale vers la compréhension du langage naturel et a été largement étudié. Ces dernières années, l'approche de bout en bout du SRL utilisant des réseaux de neurones récurrents (RNN) a attiré une attention croissante. Cependant, il reste un défi majeur pour les RNN de traiter les informations structurelles et les dépendances à longue portée. Dans cet article, nous présentons une architecture simple et efficace pour le SRL visant à résoudre ces problèmes. Notre modèle repose sur l'auto-attention, qui peut capturer directement les relations entre deux jetons quel que soit leur écart. Notre modèle unique atteint un F$_1=83,4$ sur l'ensemble de données de la tâche partagée CoNLL-2005 et un F$_1=82,7$ sur l'ensemble de données de la tâche partagée CoNLL-2012, surpassant respectivement les résultats précédents de pointe avec un gain de 1,8 et 1,0 point en termes de score F$_1$. De plus, notre modèle est calculatoirement efficace, avec une vitesse d'analyse syntaxique de 50 000 jetons par seconde sur une seule carte GPU Titan X.