HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateur graphes à graphes sensible à la syntaxe pour l'étiquetage sémantique des rôles

Alireza Mohammadshahi James Henderson

Résumé

Les modèles récents ont démontré qu’intégrer des connaissances syntaxiques dans la tâche d’étiquetage des rôles sémantiques (SRL) conduit à une amélioration significative. Dans cet article, nous proposons un modèle appelé Syntax-aware Graph-to-Graph Transformer (SynG2G-Tr), qui encode la structure syntaxique d’une manière originale en introduisant les relations graphiques sous forme d’embeddings directement dans le mécanisme d’attention auto-attention du Transformer. Cette approche ajoute un biais doux favorisant des motifs d’attention conformes à la structure syntaxique, tout en permettant au modèle d’utiliser ces informations pour apprendre des motifs alternatifs. Nous évaluons notre modèle sur des jeux de données SRL basés sur les spans et sur les dépendances, et obtenons de meilleurs résultats que les méthodes alternatives précédentes, tant dans des scénarios in-domain que out-of-domain, sur les jeux de données CoNLL 2005 et CoNLL 2009.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp