HyperAIHyperAI

Command Palette

Search for a command to run...

Représentation hiérarchique contextualisée pour la reconnaissance d'entités nommées

Ying Luo Fengshun Xiao Hai Zhao

Résumé

Les modèles de reconnaissance d'entités nommées (NER) sont généralement fondés sur l'architecture du LSTM bidirectionnel (BiLSTM). Les contraintes liées à la nature séquentielle ainsi que la modélisation d'un seul jeton d'entrée empêchent une exploitation optimale de l'information globale provenant d'une portée plus large, tant au niveau de toute la phrase que de tout le document (ou du jeu de données). Dans cet article, nous abordons ces deux limites et proposons un modèle enrichi par une représentation contextuelle hiérarchique : une représentation au niveau de la phrase et une représentation au niveau du document. Au niveau de la phrase, nous prenons en compte les contributions différenciées des mots au sein d'une même phrase afin d'améliorer la représentation de la phrase apprise par un BiLSTM indépendant, grâce à un mécanisme d'attention basé sur les embeddings d'étiquettes. Au niveau du document, nous utilisons un réseau de mémoire à clé-valeur pour enregistrer les informations sensibles au contexte pour chaque mot unique, en tenant compte de la similarité des contextes. Nos deux niveaux de représentations contextuelles hiérarchiques sont fusionnés respectivement avec l'embedding de chaque jeton d'entrée et l'état caché correspondant du BiLSTM. Les résultats expérimentaux sur trois jeux de données de référence pour le NER (CoNLL-2003, Ontonotes 5.0 en anglais, CoNLL-2002 en espagnol) montrent que nous atteignons de nouveaux records d'état de l'art.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Représentation hiérarchique contextualisée pour la reconnaissance d'entités nommées | Articles | HyperAI