GRN : Réseau de Relations Géré pour Améliorer les Réseaux Neuronaux Convolutifs pour la Reconnaissance d'Entités Nommées

Les approches dominantes pour la reconnaissance d'entités nommées (NER) adoptent principalement des réseaux neuronaux récurrents (RNN) complexes, tels que les réseaux à mémoire à court et long terme (LSTM). Cependant, les RNN sont limités par leur nature récurrente en termes d'efficacité computationnelle. En revanche, les réseaux neuronaux convolutifs (CNN) peuvent pleinement exploiter le parallélisme des GPU grâce à leurs architectures de type feedforward. Cependant, peu d'attention a été portée à l'utilisation des CNN pour la NER, principalement en raison de leurs difficultés à capturer les informations de contexte à long terme dans une séquence. Dans cet article, nous proposons un réseau neuronal basé sur les CNN simple mais efficace pour la NER, appelé réseau de relation avec porte (GRN), qui est plus performant que les CNN courants pour capturer le contexte à long terme. Plus précisément, dans le GRN, nous utilisons d'abord des CNN pour explorer les caractéristiques du contexte local de chaque mot. Ensuite, nous modélisons les relations entre les mots et les utilisons comme portes pour fusionner les caractéristiques du contexte local en caractéristiques globales afin de prédire les étiquettes. Sans utiliser de couches récurrentes qui traitent une phrase de manière séquentielle, notre GRN permet des calculs parallèles sur toute la phrase. Les expérimentations menées sur deux jeux de données de référence en NER (à savoir CoNLL2003 et Ontonotes 5.0) montrent que notre GRN proposé peut atteindre des performances au niveau de l'état de l'art, avec ou sans connaissances externes. Il bénéficie également de coûts temporels inférieurs pour l'entraînement et le test. Nous avons rendu le code publiquement disponible sur https://github.com/HuiChen24/NER-GRN.