HyperAIHyperAI

Command Palette

Search for a command to run...

Optimisation d'un bi-encodeur pour la reconnaissance d'entités nommées par apprentissage contrastif

Sheng Zhang Hao Cheng Jianfeng Gao Hoifung Poon

Résumé

Nous présentons un cadre de bi-encodeur pour la reconnaissance d'entités nommées (NER), qui applique l'apprentissage par contraste pour mapper les spans textuels candidats et les types d'entités dans le même espace de représentation vectorielle. Les travaux précédents abordent principalement la NER comme un problème d'étiquetage de séquence ou de classification de span. Nous reformulons en revanche la NER comme un problème d'apprentissage de représentation qui maximise la similarité entre les représentations vectorielles d'une mention d'entité et son type. Cela facilite la gestion des NER imbriqués et plats, et permet une meilleure exploitation des signaux d'autosupervision bruyants. Un défi majeur de cette formulation à bi-encodeur pour la NER réside dans la séparation des spans non-entités des mentions d'entités. Au lieu d'étiqueter explicitement tous les spans non-entités comme appartenant à la même classe Outside\texttt{Outside}Outside (O\texttt{O}O), comme dans la plupart des méthodes antérieures, nous introduisons une nouvelle perte à seuil dynamique. Les expériences montrent que notre méthode performe bien dans les contextes supervisés et faiblement supervisés, tant pour les NER imbriqués que plats, établissant de nouveaux états de l'art sur des jeux de données standards dans le domaine général (par exemple, ACE2004, ACE2005) et des domaines verticaux à forte valeur ajoutée tels que la biomédecine (par exemple, GENIA, NCBI, BC5CDR, JNLPBA). Nous mettons le code à disposition sur github.com/microsoft/binder.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp