HyperAIHyperAI

Command Palette

Search for a command to run...

Modèle neuronal Hero-Gang pour la reconnaissance d'entités nommées

Jinpeng Hu Yaling Shen Yang Liu Xiang Wan Tsung-Hui Chang

Résumé

La reconnaissance d'entités nommées (NER) est une tâche fondamentale et essentielle en traitement du langage naturel, visant à identifier les entités nommées (NE) à partir de textes libres. Récemment, du fait que le mécanisme d'attention à plusieurs têtes utilisé dans le modèle Transformer permet de capturer efficacement des informations contextuelles plus longues, les modèles basés sur Transformer sont devenus les méthodes dominantes et ont obtenu des performances remarquables sur cette tâche. Malheureusement, bien que ces modèles puissent capter des informations contextuelles globales efficaces, ils restent limités dans l'extraction des caractéristiques locales et des informations de position, qui sont pourtant cruciales pour la NER. Dans cet article, afin de remédier à cette limitation, nous proposons une nouvelle architecture neuronale, appelée HGN (Hero-Gang Neural), composée d’un module Hero et d’un module Gang, afin d’exploiter simultanément les informations globales et locales afin d’améliorer la performance de la NER. Plus précisément, le module Hero repose sur un encodeur basé sur Transformer, conservant ainsi l’avantage du mécanisme d’attention auto-associative, tandis que le module Gang utilise un module récurrent à fenêtres multiples pour extraire les caractéristiques locales et les informations de position sous la guidance du module Hero. Ensuite, l’attention à fenêtres multiples proposée combine efficacement l’information globale et plusieurs caractéristiques locales pour prédire les étiquettes des entités. Les résultats expérimentaux sur plusieurs jeux de données standard démontrent l’efficacité de notre modèle proposé.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp