Évaluation empirique des stratégies de préentraînement pour le lien d'entités supervisé

Dans ce travail, nous présentons un modèle de liaison d'entités qui combine une architecture Transformer avec un préentraînement à grande échelle basé sur les liens de Wikipedia. Notre modèle atteint l'état de l'art sur deux jeux de données couramment utilisés pour la liaison d'entités : 96,7 % sur CoNLL et 94,9 % sur TAC-KBP. Nous fournissons des analyses détaillées afin de comprendre quelles choix architecturaux sont essentiels pour la liaison d'entités, notamment le choix des candidats d'entités négatives, l'architecture Transformer et les perturbations d'entrée. Enfin, nous présentons des résultats prometteurs dans des configurations plus exigeantes, telles que la liaison d'entités en mode end-to-end et la liaison d'entités sans données d'entraînement dans le domaine.