Konstituenzparsing mit einem selbstaufmerksamen Encoder

Wir zeigen, dass der Ersatz eines LSTM-Encoders durch eine selbst-merksamkeitsarchitektur (self-attentive architecture) zu Verbesserungen bei einem standesgemäßen diskriminativen Konstituentenparser führen kann. Die Verwendung von Attention macht die Art und Weise explizit, wie Informationen zwischen verschiedenen Positionen im Satz übertragen werden, was wir nutzen, um unser Modell zu analysieren und potenzielle Verbesserungen vorzuschlagen. Zum Beispiel stellen wir fest, dass das Trennen von positionellen und inhaltsbezogenen Informationen im Encoder zu einer besseren Parsinggenauigkeit führen kann. Zudem evaluieren wir verschiedene Ansätze für lexikalische Repräsentationen. Unser Parser erzielt neue standesgemäße Ergebnisse für einzelne Modelle, die auf dem Penn Treebank trainiert wurden: 93,55 F1 ohne die Verwendung externer Daten und 95,13 F1 bei Verwendung prägelernter Wortrepräsentationen. Unser Parser übertreffen zudem die bisher besten veröffentlichten Genauigkeitswerte in 8 von 9 Sprachen des SPMRL-Datensatzes.