HyperAIHyperAI

Command Palette

Search for a command to run...

Linguistisch informierte Selbst-Attention für die semantische Rollenmarkierung

Emma Strubell; Patrick Verga; Daniel Andor; David Weiss; Andrew McCallum

Zusammenfassung

Der aktuelle Stand der Technik im Bereich des semantischen Rollenlabeling (SRL) verwendet ein tiefes neuronales Netzwerk ohne explizite linguistische Merkmale. Allerdings haben frühere Arbeiten gezeigt, dass goldene Syntaxbäume das SRL-Decoding erheblich verbessern können, was die Möglichkeit einer erhöhten Genauigkeit durch explizites Modellieren von Syntax nahelegt. In dieser Arbeit stellen wir linguistisch informierte Selbst-Aufmerksamkeit (LISA) vor: ein neuronales Netzwerkmodell, das Multi-Head-Selbst-Aufmerksamkeit mit Multi-Task-Lernen über Dependenzparsing, Teil-of-Speech-Tagging, Prädikatenerkennung und SRL kombiniert. Im Gegensatz zu früheren Modellen, die erhebliche Vorverarbeitung zur Vorbereitung linguistischer Merkmale benötigen, kann LISA Syntax lediglich mit rohen Token als Eingabe integrieren und die Sequenz nur einmal kodieren, um gleichzeitig Parsing, Prädikatenerkennung und Rollenlabeling für alle Prädikate durchzuführen. Syntax wird integriert, indem ein Aufmerksamkeitskopf trainiert wird, auf die syntaktischen Eltern jedes Tokens zu achten. Darüber hinaus kann eine hochwertige syntaktische Analyse bei der Testzeit vorteilhaft eingesetzt werden, ohne dass unser SRL-Modell neu trainiert werden muss.In Experimenten auf dem CoNLL-2005 SRL-Datensatz erreicht LISA neue Bestleistungen für ein Modell mit vorhergesagten Prädikaten und Standard-Wort-Einbettungen (Word Embeddings), wobei es 2,5 F1-Punkte absolut besser als der bisherige Stand der Technik in Nachrichtentexten und mehr als 3,5 F1-Punkte in außerdomänen Daten abschneidet – was einem fast 10%-igen Fehlerreduzierung entspricht. Bei den englischen CoNLL-2012 SRL-Daten zeigen wir ebenfalls eine Verbesserung von mehr als 2,5 F1-Punkten. LISA übertrifft auch den aktuellen Stand der Technik bei kontextuell kodierten (ELMo) Wortrepräsentationen um fast 1,0 F1-Punkt in Nachrichtentexten und mehr als 2,0 F1-Punkte in außerdomänen Texten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Linguistisch informierte Selbst-Attention für die semantische Rollenmarkierung | Paper | HyperAI