Pré-entraînement sur graphes pour l'analyse et la génération d'AMR

La représentation sémantique abstraite (AMR) met en évidence les informations sémantiques fondamentales d’un texte sous une forme graphique. Récemment, les modèles de langage pré-entraînés (PLMs) ont permis des progrès significatifs dans les tâches de parsing AMR et de génération texte à partir d’AMR. Toutefois, les PLMs sont généralement pré-entraînés sur des données textuelles, ce qui les rend sous-optimisés pour modéliser les connaissances structurelles. À cette fin, nous explorons un apprentissage auto-supervisé sur graphes afin d’améliorer la prise en compte des structures au sein des PLMs sur des graphes AMR. Plus précisément, nous proposons deux stratégies d’auto-encodage graphique pour un pré-entraînement graphique à graphique, ainsi que quatre tâches visant à intégrer de manière cohérente les informations textuelles et graphiques durant le pré-entraînement. Nous avons également conçu un cadre unifié permettant de réduire l’écart entre les étapes de pré-entraînement et de fine-tuning. Les expériences menées sur les tâches de parsing AMR et de génération texte à partir d’AMR démontrent l’efficacité de notre modèle. À notre connaissance, nous sommes les premiers à envisager un pré-entraînement sur des graphes sémantiques.