Structuration de la fine-tuning des transformateurs séquence-à-séquence pour l'analyse syntaxique transitionnelle de AMR

La prédiction des graphes linéarisés de représentation sémantique abstraite (AMR) à l’aide de modèles pré-entraînés de type séquence à séquence basés sur les Transformers a récemment permis d’importants progrès sur les benchmarks de parsing AMR. Ces parseurs, simples à mettre en œuvre et évitant une modélisation explicite de la structure, manquent toutefois de propriétés souhaitables telles que des garanties de validité du graphe ou une alignement intégré entre graphe et phrase. Dans ce travail, nous explorons l’intégration de modèles pré-entraînés de type séquence à séquence généraux avec une approche transitionnelle sensible à la structure. Nous partons d’un système transitionnel basé sur des pointeurs et proposons un ensemble de transitions simplifié, conçu pour exploiter de manière plus efficace les modèles pré-entraînés dans le cadre d’un fine-tuning structuré. Nous examinons également la modélisation de l’état du parseur au sein de l’architecture encodage-décodage pré-entraînée, ainsi que différentes stratégies de vocabulaire pour atteindre ce but. Une comparaison détaillée avec les avancées récentes en parsing AMR est fournie, montrant que le parseur proposé conserve les propriétés avantageuses des approches transitionnelles antérieures, tout en étant plus simple et atteignant un nouveau record d’état de l’art pour AMR 2.0, sans nécessiter de re-catégorisation des graphes.