Amélioration de l’identification d’entités par modélisation des informations de type d’entité latentes

Les modèles d’identification d’entités neurales de pointe actuels utilisent un modèle de contexte basé sur l’attention et une approche « bag-of-words » ainsi que des embeddings d’entités pré-entraînés tirés des embeddings de mots pour évaluer la compatibilité du contexte au niveau du sujet. Toutefois, les informations latentes sur le type d’entité présentes dans le contexte immédiat de l’expression mentionnée sont négligées, ce qui conduit fréquemment à des liens erronés vers des entités de type incorrect. Pour remédier à ce problème, nous proposons d’injecter des informations latentes sur le type d’entité dans les embeddings d’entités à partir d’un BERT pré-entraîné. En outre, nous intégrons un score de similarité d’entité basé sur BERT au sein du modèle de contexte local d’un modèle de pointe, afin de mieux capturer les informations latentes sur le type d’entité. Notre modèle surpasse significativement les modèles d’identification d’entités de pointe sur les benchmarks standards (AIDA-CoNLL). Une analyse expérimentale détaillée montre que notre modèle corrige la majeure partie des erreurs de type produites par le modèle de base direct.