Syntax-awareer Graph-to-Graph-Transformer für die semantische Rollenbeschriftung

Neuere Modelle haben gezeigt, dass die Einbeziehung syntaktischer Kenntnisse in die Aufgabe der semantischen Rollenmarkierung (Semantic Role Labeling, SRL) zu einer signifikanten Verbesserung führt. In diesem Artikel stellen wir das Syntax-aware Graph-to-Graph Transformer (SynG2G-Tr)-Modell vor, das die syntaktische Struktur auf eine neuartige Weise kodiert, indem graphische Beziehungen als Embeddings direkt in den Selbst-Attention-Mechanismus des Transformers integriert werden. Dieser Ansatz fügt einer Aufmerksamkeitsstruktur, die der syntaktischen Struktur folgt, einen weichen Bias hinzu, ermöglicht jedoch gleichzeitig, dass das Modell diese Information nutzt, um alternative Muster zu erlernen. Wir evaluieren unser Modell sowohl auf spanbasierten als auch auf dependencybasierten SRL-Datensätzen und erreichen in beiden In-Domain- und Out-of-Domain-Szenarien bessere Ergebnisse als bisherige Ansätze auf den CoNLL-2005- und CoNLL-2009-Datensätzen.