La représentation sémantique abstraite (AMR) met en évidence les informations sémantiques fondamentales d’un texte sous une forme graphique. Récemment, les modèles de langage pré-entraînés (PLMs) ont permis des progrès significatifs dans les tâches de parsing AMR et de génération texte à partir d’AMR. Toutefois, les PLMs sont généralement pré-entraînés sur des données textuelles, ce qui les rend sous-optimisés pour modéliser les connaissances structurelles. À cette fin, nous explorons un apprentissage auto-supervisé sur graphes afin d’améliorer la prise en compte des structures au sein des PLMs sur des graphes AMR. Plus précisément, nous proposons deux stratégies d’auto-encodage graphique pour un pré-entraînement graphique à graphique, ainsi que quatre tâches visant à intégrer de manière cohérente les informations textuelles et graphiques durant le pré-entraînement. Nous avons également conçu un cadre unifié permettant de réduire l’écart entre les étapes de pré-entraînement et de fine-tuning. Les expériences menées sur les tâches de parsing AMR et de génération texte à partir d’AMR démontrent l’efficacité de notre modèle. À notre connaissance, nous sommes les premiers à envisager un pré-entraînement sur des graphes sémantiques.