HyperAIHyperAI

Command Palette

Search for a command to run...

Intégration des informations de graphe dans le parsing AMR basé sur les Transformers

Pavlo Vasylenko Pere-Lluis Huguet Cabot Abelardo Carlos Martínez Lorenzo Roberto Navigli

Résumé

Résumé : La Représentation Abstraite du Sens (AMR) est une formalisation de l'analyse sémantique visant à fournir une abstraction sous forme de graphe sémantique représentant un texte donné. Les approches actuelles reposent sur des modèles de langage auto-régressifs tels que BART ou T5, affinés par le biais de la méthode d'Enseignement Forcé pour obtenir une version linéarisée du graphe AMR à partir d'une phrase. Dans cet article, nous présentons LeakDistill, un modèle et une méthode qui explorent une modification de l'architecture Transformer, en utilisant des adaptateurs structuraux pour incorporer explicitement les informations graphiques dans les représentations apprises et améliorer les performances de l'analyse AMR. Nos expériences montrent comment, en utilisant l'alignement mot-nœud pour intégrer les informations structurelles du graphe dans l'encodeur pendant l'apprentissage, il est possible d'obtenir des résultats d'analyse AMR de pointe grâce à la distillation de connaissances auto-supervisée, même sans l'utilisation de données supplémentaires. Nous mettons le code à disposition sur \url{http://www.github.com/sapienzanlp/LeakDistill}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp