Linguistisch informierte Selbst-Attention für die semantische Rollenmarkierung

Der aktuelle Stand der Technik im Bereich des semantischen Rollenlabeling (SRL) verwendet ein tiefes neuronales Netzwerk ohne explizite linguistische Merkmale. Allerdings haben frühere Arbeiten gezeigt, dass goldene Syntaxbäume das SRL-Decoding erheblich verbessern können, was die Möglichkeit einer erhöhten Genauigkeit durch explizites Modellieren von Syntax nahelegt. In dieser Arbeit stellen wir linguistisch informierte Selbst-Aufmerksamkeit (LISA) vor: ein neuronales Netzwerkmodell, das Multi-Head-Selbst-Aufmerksamkeit mit Multi-Task-Lernen über Dependenzparsing, Teil-of-Speech-Tagging, Prädikatenerkennung und SRL kombiniert. Im Gegensatz zu früheren Modellen, die erhebliche Vorverarbeitung zur Vorbereitung linguistischer Merkmale benötigen, kann LISA Syntax lediglich mit rohen Token als Eingabe integrieren und die Sequenz nur einmal kodieren, um gleichzeitig Parsing, Prädikatenerkennung und Rollenlabeling für alle Prädikate durchzuführen. Syntax wird integriert, indem ein Aufmerksamkeitskopf trainiert wird, auf die syntaktischen Eltern jedes Tokens zu achten. Darüber hinaus kann eine hochwertige syntaktische Analyse bei der Testzeit vorteilhaft eingesetzt werden, ohne dass unser SRL-Modell neu trainiert werden muss.In Experimenten auf dem CoNLL-2005 SRL-Datensatz erreicht LISA neue Bestleistungen für ein Modell mit vorhergesagten Prädikaten und Standard-Wort-Einbettungen (Word Embeddings), wobei es 2,5 F1-Punkte absolut besser als der bisherige Stand der Technik in Nachrichtentexten und mehr als 3,5 F1-Punkte in außerdomänen Daten abschneidet – was einem fast 10%-igen Fehlerreduzierung entspricht. Bei den englischen CoNLL-2012 SRL-Daten zeigen wir ebenfalls eine Verbesserung von mehr als 2,5 F1-Punkten. LISA übertrifft auch den aktuellen Stand der Technik bei kontextuell kodierten (ELMo) Wortrepräsentationen um fast 1,0 F1-Punkt in Nachrichtentexten und mehr als 2,0 F1-Punkte in außerdomänen Texten.