HyperAIHyperAI

Command Palette

Search for a command to run...

Tiefes semantisches Rollenlabeling mit Selbstaufmerksamkeit

Zhixing Tan; Mingxuan Wang; Jun Xie; Yidong Chen; Xiaodong Shi

Zusammenfassung

Das Semantische Rollenlabeling (SRL) wird als entscheidender Schritt für das Verständnis natürlicher Sprache angesehen und wurde bereits intensiv untersucht. In den letzten Jahren erhielt das end-to-end-SRL mit rekurrenten neuronalen Netzen (RNN) zunehmendes Interesse. Dennoch stellt es eine große Herausforderung für RNNs dar, strukturelle Informationen und langfristige Abhängigkeiten zu verarbeiten. In dieser Arbeit stellen wir eine einfache und effektive Architektur für SRL vor, die diese Probleme angehen soll. Unser Modell basiert auf Selbst-Aufmerksamkeit (self-attention), die in der Lage ist, die Beziehungen zwischen zwei Token unabhängig von deren Distanz direkt zu erfassen. Unser einzelnes Modell erreicht einen F1_11-Wert von 83,4 auf dem CoNLL-2005 Shared Task-Datensatz und einen F1_11-Wert von 82,7 auf dem CoNLL-2012 Shared Task-Datensatz, was jeweils um 1,8 und 1,0 F1_11-Punkte besser ist als die bisher besten Ergebnisse. Darüber hinaus ist unser Modell rechnerisch effizient, wobei die Parsing-Geschwindigkeit bei 50.000 Token pro Sekunde auf einer einzelnen Titan X GPU liegt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp