Globale Entitätsaufklärung mit BERT

Wir schlagen ein globales Entitätsklärungsmodell (ED) vor, das auf BERT basiert. Um globale kontextuelle Informationen für die ED zu erfassen, behandelt unser Modell nicht nur Wörter, sondern auch Entitäten als Eingabetoken und löst die Aufgabe, indem es nacheinander Erwähnungen auf ihre referenziellen Entitäten auflöst und diese aufgelösten Entitäten in jedem Schritt als Eingaben verwendet. Wir trainieren das Modell mit einem großen, aus Wikipedia gewonnenen Korpus, der mit Entitätsanmerkungen versehen ist. Wir erzielen neue Stand-of-the-Art-Ergebnisse auf fünf Standard-ED-Datensätzen: AIDA-CoNLL, MSNBC, AQUAINT, ACE2004 und WNED-WIKI. Der Quellcode und das Modellcheckpoint sind unter https://github.com/studio-ousia/luke verfügbar.