Optimierung eines Bi-Encoders für die Named Entity Recognition durch Kontrastives Lernen

Wir präsentieren einen bi-Encoder-Rahmen für die Erkennung benannter Entitäten (Named Entity Recognition, NER), der kontrastives Lernen anwendet, um Kandidatentextabschnitte und Entitätstypen in den gleichen Vektordarstellungsraum abzubilden. Frühere Arbeiten behandeln NER hauptsächlich als sequenzielle Beschriftung oder Spannenklassifizierung. Wir stellen NER jedoch als ein Problem des Darstellungslernens dar, das die Ähnlichkeit zwischen den Vektordarstellungen einer Entitätsnennung und ihrem Typ maximiert. Dies erleichtert die Bearbeitung sowohl geschachtelter als auch flacher NER und kann störende Selbstüberwachungssignale besser nutzen. Eine große Herausforderung bei dieser bi-Encoder-Formulierung für NER besteht darin, Nicht-Entitätsspannen von Entitätsnennungen zu trennen. Anstatt alle Nicht-Entitätsspannen wie in den meisten früheren Methoden explizit mit der gleichen Klasse $\texttt{Außerhalb}$ ($\texttt{O}$) zu beschriften, führen wir eine neuartige dynamische Schwellwertfunktion ein. Experimente zeigen, dass unsere Methode sowohl in überwachten als auch schwach überwachten Szenarien gut abschneidet, sowohl für geschachtelte als auch flache NER. Sie legt neue Standards in Standard-Datensätzen im allgemeinen Bereich (z.B. ACE2004, ACE2005) sowie in hochwertigen Vertikalen wie Biomedizin (z.B. GENIA, NCBI, BC5CDR, JNLPBA) fest. Wir veröffentlichen den Code unter github.com/microsoft/binder.