HyperAIHyperAI

Command Palette

Search for a command to run...

Adaptateurs structuraux dans les modèles linguistiques préentraînés pour la génération de texte à partir de représentations sémantiques abstraites (AMR)

Leonardo F. R. Ribeiro Yue Zhang Iryna Gurevych

Résumé

Les modèles linguistiques préentraînés (PLM) ont récemment permis des progrès significatifs dans la génération de texte à partir de graphes, où le graphe d'entrée est linéarisé en une séquence puis introduit dans le PLM afin d'obtenir sa représentation. Toutefois, encoder efficacement la structure du graphe dans les PLM reste un défi, car ces modèles ont été préentraînés sur des données linguistiques naturelles, et la modélisation de données structurées peut entraîner un oubli catastrophique des connaissances sur les distributions linguistiques. Dans cet article, nous proposons StructAdapt, une méthode d'adaptation permettant d'intégrer la structure du graphe dans les PLM. Contrairement aux approches antérieures, StructAdapt modélise efficacement les interactions entre les nœuds en se basant sur la connectivité du graphe, tout en n'entraînant que les paramètres adaptateurs sensibles à la structure du graphe. Ainsi, nous intégrons des connaissances spécifiques à la tâche tout en préservant la structure topologique du graphe. Nous démontrons empiriquement les avantages d'une encodage explicite de la structure du graphe dans les PLM grâce à StructAdapt, surpassant l'état de l'art sur deux jeux de données AMR-to-text, tout en entraînant uniquement 5,1 % des paramètres du PLM.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp