Verbesserung der benannten Entitäten-Erkennung durch externes Kontextabruf und kooperatives Lernen

Neuere Fortschritte in der Erkennung benannter Entitäten (Named Entity Recognition, NER) zeigen, dass dokumentenweite Kontextinformationen die Leistung von Modellen erheblich verbessern können. In vielen Anwendungsszenarien sind solche Kontexte jedoch nicht verfügbar. In diesem Paper schlagen wir vor, externe Kontexte eines Satzes durch die Suche und Auswahl einer Reihe semantisch relevanter Texte mittels einer Suchmaschine zu finden, wobei der ursprüngliche Satz als Suchanfrage dient. Experimentell stellen wir fest, dass die durch die Retrieval-basierte Eingabevorstellung, die durch die Verkettung eines Satzes mit seinen externen Kontexten entsteht, erzeugten kontextuellen Repräsentationen im Vergleich zur ursprünglichen Eingabevorstellung, die lediglich auf dem Satz basiert, signifikant bessere Ergebnisse liefern. Darüber hinaus können wir die Modellleistung beider Eingabevorstellungen durch Cooperative Learning verbessern, eine Trainingsmethode, die die beiden Eingabevorstellungen dazu anregt, ähnliche kontextuelle Repräsentationen oder Ausgabelabel-Verteilungen zu erzeugen. Experimente zeigen, dass unser Ansatz auf acht NER-Datensätzen aus fünf unterschiedlichen Domänen neue SOTA-(State-of-the-Art)-Leistungen erzielt.