HyperAIHyperAI

Command Palette

Search for a command to run...

Syntax-awareer Graph-to-Graph-Transformer für die semantische Rollenbeschriftung

Alireza Mohammadshahi James Henderson

Zusammenfassung

Neuere Modelle haben gezeigt, dass die Einbeziehung syntaktischer Kenntnisse in die Aufgabe der semantischen Rollenmarkierung (Semantic Role Labeling, SRL) zu einer signifikanten Verbesserung führt. In diesem Artikel stellen wir das Syntax-aware Graph-to-Graph Transformer (SynG2G-Tr)-Modell vor, das die syntaktische Struktur auf eine neuartige Weise kodiert, indem graphische Beziehungen als Embeddings direkt in den Selbst-Attention-Mechanismus des Transformers integriert werden. Dieser Ansatz fügt einer Aufmerksamkeitsstruktur, die der syntaktischen Struktur folgt, einen weichen Bias hinzu, ermöglicht jedoch gleichzeitig, dass das Modell diese Information nutzt, um alternative Muster zu erlernen. Wir evaluieren unser Modell sowohl auf spanbasierten als auch auf dependencybasierten SRL-Datensätzen und erreichen in beiden In-Domain- und Out-of-Domain-Szenarien bessere Ergebnisse als bisherige Ansätze auf den CoNLL-2005- und CoNLL-2009-Datensätzen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp