Command Palette
Search for a command to run...
Adaptateurs structuraux dans les modèles linguistiques préentraînés pour la génération de texte à partir de représentations sémantiques abstraites (AMR)
Adaptateurs structuraux dans les modèles linguistiques préentraînés pour la génération de texte à partir de représentations sémantiques abstraites (AMR)
Leonardo F. R. Ribeiro Yue Zhang Iryna Gurevych
Résumé
Les modèles linguistiques préentraînés (PLM) ont récemment permis des progrès significatifs dans la génération de texte à partir de graphes, où le graphe d'entrée est linéarisé en une séquence puis introduit dans le PLM afin d'obtenir sa représentation. Toutefois, encoder efficacement la structure du graphe dans les PLM reste un défi, car ces modèles ont été préentraînés sur des données linguistiques naturelles, et la modélisation de données structurées peut entraîner un oubli catastrophique des connaissances sur les distributions linguistiques. Dans cet article, nous proposons StructAdapt, une méthode d'adaptation permettant d'intégrer la structure du graphe dans les PLM. Contrairement aux approches antérieures, StructAdapt modélise efficacement les interactions entre les nœuds en se basant sur la connectivité du graphe, tout en n'entraînant que les paramètres adaptateurs sensibles à la structure du graphe. Ainsi, nous intégrons des connaissances spécifiques à la tâche tout en préservant la structure topologique du graphe. Nous démontrons empiriquement les avantages d'une encodage explicite de la structure du graphe dans les PLM grâce à StructAdapt, surpassant l'état de l'art sur deux jeux de données AMR-to-text, tout en entraînant uniquement 5,1 % des paramètres du PLM.