Hierarchische kontextualisierte Darstellung für die Erkennung benannter Entitäten

Modellbasierte Named Entity Recognition (NER) sind typischerweise auf der Architektur eines bidirektionalen LSTM (BiLSTM) aufgebaut. Die Beschränkungen der sequenziellen Struktur sowie die Modellierung einzelner Eingaben verhindern eine vollständige Nutzung globaler Informationen aus einem größeren Kontext – nicht nur innerhalb eines gesamten Satzes, sondern auch innerhalb eines gesamten Dokuments (bzw. Datensatzes). In diesem Artikel adressieren wir diese beiden Einschränkungen und schlagen ein Modell vor, das durch eine hierarchische kontextualisierte Repräsentation ergänzt wird: eine Satz- und eine Dokumentebene. Auf Satzebene berücksichtigen wir die unterschiedlichen Beiträge einzelner Wörter innerhalb eines Satzes, um die Satzrepräsentation, die unabhängig von einem BiLSTM gelernt wird, mittels eines Aufmerksamkeitsmechanismus basierend auf Label-Embeddings zu verbessern. Auf Dokumentebene wird ein Key-Value-Memory-Netzwerk eingesetzt, um dokumentenbewusste Informationen für jedes eindeutige Wort zu speichern, das sensibel gegenüber der Ähnlichkeit des Kontextes ist. Unsere zweistufige hierarchische kontextualisierte Repräsentation wird jeweils mit der Eingabewort-Embedding und dem entsprechenden versteckten Zustand des BiLSTM fusioniert. Die experimentellen Ergebnisse auf drei Standard-NER-Datensätzen (CoNLL-2003 und Ontonotes 5.0 englische Datensätze, CoNLL-2002 spanischer Datensatz) zeigen, dass wir neue SOTA-Ergebnisse (state-of-the-art) erzielen.