HyperAIHyperAI

Command Palette

Search for a command to run...

Structuration de la fine-tuning des transformateurs séquence-à-séquence pour l'analyse syntaxique transitionnelle de AMR

Jiawei Zhou Tahira Naseem Ramón Fernandez Astudillo Young-Suk Lee Radu Florian Salim Roukos

Résumé

La prédiction des graphes linéarisés de représentation sémantique abstraite (AMR) à l’aide de modèles pré-entraînés de type séquence à séquence basés sur les Transformers a récemment permis d’importants progrès sur les benchmarks de parsing AMR. Ces parseurs, simples à mettre en œuvre et évitant une modélisation explicite de la structure, manquent toutefois de propriétés souhaitables telles que des garanties de validité du graphe ou une alignement intégré entre graphe et phrase. Dans ce travail, nous explorons l’intégration de modèles pré-entraînés de type séquence à séquence généraux avec une approche transitionnelle sensible à la structure. Nous partons d’un système transitionnel basé sur des pointeurs et proposons un ensemble de transitions simplifié, conçu pour exploiter de manière plus efficace les modèles pré-entraînés dans le cadre d’un fine-tuning structuré. Nous examinons également la modélisation de l’état du parseur au sein de l’architecture encodage-décodage pré-entraînée, ainsi que différentes stratégies de vocabulaire pour atteindre ce but. Une comparaison détaillée avec les avancées récentes en parsing AMR est fournie, montrant que le parseur proposé conserve les propriétés avantageuses des approches transitionnelles antérieures, tout en étant plus simple et atteignant un nouveau record d’état de l’art pour AMR 2.0, sans nécessiter de re-catégorisation des graphes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Structuration de la fine-tuning des transformateurs séquence-à-séquence pour l'analyse syntaxique transitionnelle de AMR | Articles | HyperAI