Analyse syntaxique constituante par CRF neuronal rapide et précise

L’estimation de la distribution de probabilité constitue l’un des enjeux fondamentaux du domaine du traitement automatique du langage naturel (NLP). Toutefois, tant dans l’ère du deep learning (DL) que dans l’ère pré-DL, contrairement à l’usage très répandu des CRF à chaîne linéaire dans les tâches d’étiquetage de séquences, très peu de travaux ont appliqué les CRF à structure arborescente à l’analyse syntaxique constituante, principalement en raison de la complexité et de l’inefficacité de l’algorithme inside-outside. Ce travail présente un parseur constituant neuronal CRF rapide et précis. L’idée centrale consiste à vectoriser l’algorithme inside pour le calcul de la perte par des opérations tensorielles massives directes sur GPU, tout en évitant l’algorithme outside pour le calcul des gradients grâce à une rétropropagation efficace. Nous proposons également une approche simple en deux étapes — d’abord l’identification des crochets, puis l’étiquetage — afin d’améliorer davantage l’efficacité. Pour améliorer les performances du parseur, inspirés des avancées récentes dans le domaine du parsing dépendant, nous introduisons une nouvelle architecture de notation fondée sur une représentation des bornes et une attention biaffine, ainsi qu’une stratégie de dropout bénéfique. Des expérimentations menées sur les corpus PTB, CTB5.1 et CTB7 montrent que notre parseur CRF en deux étapes atteint de nouveaux états de l’art, tant dans les configurations avec que sans BERT, et peut traiter plus de 1 000 phrases par seconde. Le code source est disponible à l’adresse suivante : https://github.com/yzhangcs/crfpar.