Représentation hiérarchique contextualisée pour la reconnaissance d'entités nommées

Les modèles de reconnaissance d'entités nommées (NER) sont généralement fondés sur l'architecture du LSTM bidirectionnel (BiLSTM). Les contraintes liées à la nature séquentielle ainsi que la modélisation d'un seul jeton d'entrée empêchent une exploitation optimale de l'information globale provenant d'une portée plus large, tant au niveau de toute la phrase que de tout le document (ou du jeu de données). Dans cet article, nous abordons ces deux limites et proposons un modèle enrichi par une représentation contextuelle hiérarchique : une représentation au niveau de la phrase et une représentation au niveau du document. Au niveau de la phrase, nous prenons en compte les contributions différenciées des mots au sein d'une même phrase afin d'améliorer la représentation de la phrase apprise par un BiLSTM indépendant, grâce à un mécanisme d'attention basé sur les embeddings d'étiquettes. Au niveau du document, nous utilisons un réseau de mémoire à clé-valeur pour enregistrer les informations sensibles au contexte pour chaque mot unique, en tenant compte de la similarité des contextes. Nos deux niveaux de représentations contextuelles hiérarchiques sont fusionnés respectivement avec l'embedding de chaque jeton d'entrée et l'état caché correspondant du BiLSTM. Les résultats expérimentaux sur trois jeux de données de référence pour le NER (CoNLL-2003, Ontonotes 5.0 en anglais, CoNLL-2002 en espagnol) montrent que nous atteignons de nouveaux records d'état de l'art.