Étude des caractéristiques non locales pour l'analyse constituante neurale

Grâce à la puissante capacité d’expression des encodeurs neuronaux, les parseurs basés sur les graphes neuronaux ont atteint des performances très compétitives en exploitant des caractéristiques locales. Récemment, il a été démontré que l’introduction de caractéristiques non locales dans les structures CRF permet d’améliorer les résultats. Dans cet article, nous explorons l’intégration de caractéristiques non locales dans le processus d’entraînement d’un parseur local basé sur les spans, en prédisant des motifs non locaux sous forme de n-grammes de constituants et en assurant la cohérence entre ces motifs non locaux et les constituants locaux. Les résultats montrent que notre méthode simple obtient de meilleurs résultats que le parseur à auto-attention sur les deux corpus PTB et CTB. En outre, notre approche atteint une performance de pointe basée sur BERT sur PTB (95,92 F1) et une performance solide sur CTB (92,31 F1). Enfin, notre parseur obtient également des performances meilleures ou compétitives dans des scénarios multilingues et en apprentissage zéro-shot sur des domaines différents par rapport au modèle de base.