Modèle neuronal Hero-Gang pour la reconnaissance d'entités nommées

La reconnaissance d'entités nommées (NER) est une tâche fondamentale et essentielle en traitement du langage naturel, visant à identifier les entités nommées (NE) à partir de textes libres. Récemment, du fait que le mécanisme d'attention à plusieurs têtes utilisé dans le modèle Transformer permet de capturer efficacement des informations contextuelles plus longues, les modèles basés sur Transformer sont devenus les méthodes dominantes et ont obtenu des performances remarquables sur cette tâche. Malheureusement, bien que ces modèles puissent capter des informations contextuelles globales efficaces, ils restent limités dans l'extraction des caractéristiques locales et des informations de position, qui sont pourtant cruciales pour la NER. Dans cet article, afin de remédier à cette limitation, nous proposons une nouvelle architecture neuronale, appelée HGN (Hero-Gang Neural), composée d’un module Hero et d’un module Gang, afin d’exploiter simultanément les informations globales et locales afin d’améliorer la performance de la NER. Plus précisément, le module Hero repose sur un encodeur basé sur Transformer, conservant ainsi l’avantage du mécanisme d’attention auto-associative, tandis que le module Gang utilise un module récurrent à fenêtres multiples pour extraire les caractéristiques locales et les informations de position sous la guidance du module Hero. Ensuite, l’attention à fenêtres multiples proposée combine efficacement l’information globale et plusieurs caractéristiques locales pour prédire les étiquettes des entités. Les résultats expérimentaux sur plusieurs jeux de données standard démontrent l’efficacité de notre modèle proposé.