BERT pour la résolution de co-référence : lignes de base et analyse

Nous appliquons BERT à la résolution de co-référence, réalisant des améliorations significatives sur les benchmarks OntoNotes (+3,9 F1) et GAP (+11,5 F1). Une analyse qualitative des prédictions du modèle indique que, par rapport à ELMo et BERT-base, BERT-large est particulièrement meilleur pour distinguer entre des entités liées mais distinctes (par exemple, Président et PDG). Cependant, il reste encore de la marge d'amélioration dans le modélisation du contexte au niveau du document, des conversations et de la paraphrase des mentions. Notre code et nos modèles sont disponibles publiquement.