Hierarchisch verfeinertes Label-Attention-Netzwerk für Sequenzmarkierung

Das Conditional Random Field (CRF) wird als ein leistungsfähiges Modell für die statistische Sequenzmarkierung eingesetzt. Bei der neuronalen Sequenzmarkierung führt jedoch BiLSTM-CRF nicht immer zu besseren Ergebnissen im Vergleich zu BiLSTM-Softmax-Lokalklassifikation. Dies könnte daran liegen, dass das einfache Markov-Modell für Labelübergänge des CRF bei starker neuronaler Kodierung nur wenig Informationsgewinn bietet. Um Sequenzen von Labels besser darzustellen, untersuchen wir ein hierarchisch verfeinertes Label-Aufmerksamkeitsnetzwerk, das explizit Label-Einbettungen nutzt und potenzielle langfristige Labelabhängigkeiten durch die schrittweise Verfeinerung der Labelverteilungen mit hierarchischer Aufmerksamkeit erfasst. Die Ergebnisse bei der Part-of-Speech-Taggung, Named Entity Recognition und CCG-Supertagging zeigen, dass das vorgeschlagene Modell nicht nur die Gesamttaggenauigkeit bei vergleichbarer Anzahl von Parametern verbessert, sondern auch das Training und Testen erheblich beschleunigt im Vergleich zu BiLSTM-CRF.