Exploration des contextes intersentences pour la reconnaissance d'entités nommées avec BERT

La reconnaissance d'entités nommées (NER) est généralement traitée comme une tâche de classification de séquences, où chaque entrée se compose d'une seule phrase de texte. Toutefois, il est clair que des informations utiles pour cette tâche peuvent souvent être trouvées en dehors du cadre d'un contexte limité à une seule phrase. Les modèles à attention auto-associative récemment proposés, tels que BERT, sont capables à la fois de capturer efficacement les relations à longue distance dans les entrées et de représenter des entrées composées de plusieurs phrases, ouvrant ainsi de nouvelles opportunités pour les approches intégrant des informations croisées entre phrases dans les tâches de traitement du langage naturel. Dans cet article, nous présentons une étude systématique sur l'utilisation d'informations inter-phrases pour la NER en utilisant des modèles BERT dans cinq langues. Nous constatons que l'ajout de contexte sous forme de phrases supplémentaires dans l'entrée BERT améliore de manière systématique les performances de NER sur toutes les langues et tous les modèles testés. L'inclusion de plusieurs phrases dans chaque entrée permet également d'étudier les prédictions des mêmes phrases dans des contextes différents. Nous proposons une méthode simple, appelée Vote Majoritaire Contextuel (CMV), pour combiner différentes prédictions relatives à une même phrase, et démontrons qu'elle permet d'obtenir une amélioration supplémentaire des performances de NER avec BERT. Notre approche ne nécessite aucune modification de l'architecture sous-jacente de BERT, se contentant de restructurer les exemples pour l'entraînement et la prédiction. L'évaluation sur des jeux de données établis, incluant les benchmarks NER CoNLL'02 et CoNLL'03, montre que notre méthode améliore les résultats de l'état de l'art en NER pour l'anglais, le néerlandais et le finnois, obtient les meilleurs résultats rapportés à ce jour pour BERT en allemand, et atteint un niveau de performance équivalent à celui des autres approches basées sur BERT en espagnol. Nous mettons à disposition toutes les méthodes implémentées dans ce travail sous des licences ouvertes.