Amélioration de l’analyse constituante grâce à l’attention sur les spans

L’analyse constituante est une tâche fondamentale et essentielle pour la compréhension du langage naturel, dans laquelle une bonne représentation des informations contextuelles peut grandement contribuer à son succès. Les n-grammes, qui constituent un type classique de caractéristique pour l’information contextuelle, se sont révélés utiles dans de nombreuses tâches, et pourraient donc également être bénéfiques pour l’analyse constituante si leur modélisation est appropriée. Dans cet article, nous proposons une attention sur les segments (span attention) pour les parseurs constituants basés sur les grilles neurales, afin d’exploiter efficacement les informations n-grammes. Étant donné que les parseurs actuels basés sur les grilles et utilisant un encodeur Transformer représentent les segments par soustraction des états cachés situés aux extrémités du segment, une perte d’information peut survenir, particulièrement pour les segments longs, nous intégrons les n-grammes dans les représentations des segments en les pondérant selon leur contribution au processus de parsing. En outre, nous introduisons une attention catégorielle sur les segments, qui pondère les n-grammes selon différentes catégories de longueur, permettant ainsi d’améliorer particulièrement le parsing des phrases longues. Les résultats expérimentaux sur trois jeux de données standards largement utilisés démontrent l’efficacité de notre approche pour le parsing de l’arabe, du chinois et de l’anglais, où notre méthode atteint des performances de pointe sur l’ensemble des trois langues.