Optimisation d'un bi-encodeur pour la reconnaissance d'entités nommées par apprentissage contrastif

Nous présentons un cadre de bi-encodeur pour la reconnaissance d'entités nommées (NER), qui applique l'apprentissage par contraste pour mapper les spans textuels candidats et les types d'entités dans le même espace de représentation vectorielle. Les travaux précédents abordent principalement la NER comme un problème d'étiquetage de séquence ou de classification de span. Nous reformulons en revanche la NER comme un problème d'apprentissage de représentation qui maximise la similarité entre les représentations vectorielles d'une mention d'entité et son type. Cela facilite la gestion des NER imbriqués et plats, et permet une meilleure exploitation des signaux d'autosupervision bruyants. Un défi majeur de cette formulation à bi-encodeur pour la NER réside dans la séparation des spans non-entités des mentions d'entités. Au lieu d'étiqueter explicitement tous les spans non-entités comme appartenant à la même classe $\texttt{Outside}$ ($\texttt{O}$), comme dans la plupart des méthodes antérieures, nous introduisons une nouvelle perte à seuil dynamique. Les expériences montrent que notre méthode performe bien dans les contextes supervisés et faiblement supervisés, tant pour les NER imbriqués que plats, établissant de nouveaux états de l'art sur des jeux de données standards dans le domaine général (par exemple, ACE2004, ACE2005) et des domaines verticaux à forte valeur ajoutée tels que la biomédecine (par exemple, GENIA, NCBI, BC5CDR, JNLPBA). Nous mettons le code à disposition sur github.com/microsoft/binder.