Tiefes semantisches Rollenlabeling mit Selbstaufmerksamkeit

Das Semantische Rollenlabeling (SRL) wird als entscheidender Schritt für das Verständnis natürlicher Sprache angesehen und wurde bereits intensiv untersucht. In den letzten Jahren erhielt das end-to-end-SRL mit rekurrenten neuronalen Netzen (RNN) zunehmendes Interesse. Dennoch stellt es eine große Herausforderung für RNNs dar, strukturelle Informationen und langfristige Abhängigkeiten zu verarbeiten. In dieser Arbeit stellen wir eine einfache und effektive Architektur für SRL vor, die diese Probleme angehen soll. Unser Modell basiert auf Selbst-Aufmerksamkeit (self-attention), die in der Lage ist, die Beziehungen zwischen zwei Token unabhängig von deren Distanz direkt zu erfassen. Unser einzelnes Modell erreicht einen F$_1$-Wert von 83,4 auf dem CoNLL-2005 Shared Task-Datensatz und einen F$_1$-Wert von 82,7 auf dem CoNLL-2012 Shared Task-Datensatz, was jeweils um 1,8 und 1,0 F$_1$-Punkte besser ist als die bisher besten Ergebnisse. Darüber hinaus ist unser Modell rechnerisch effizient, wobei die Parsing-Geschwindigkeit bei 50.000 Token pro Sekunde auf einer einzelnen Titan X GPU liegt.