تمثيل المعنى المجرد (AMR) يبرز المعلومات الدلالية الأساسية للنص في هيكل رسومي. في الآونة الأخيرة، تطورت نماذج اللغة المُدرّبة مسبقًا (PLMs) في مهام تحليل AMR وإنشاء النص من AMR على التوالي. ومع ذلك، تُدرّب نماذج PLMs عادةً على بيانات نصية، وبالتالي فهي غير مثالية لنمذجة المعرفة الهيكلية. ولحل هذه المشكلة، نستعرض تدريبًا ذاتيًا للرسومات بهدف تحسين وعي نماذج PLMs بالهياكل في رسومات AMR. بشكل خاص، نُقدّم استراتيجيتين لترميز الرسومات (graph auto-encoding) للتدريب المسبق على الرسومات ذات الرسوم، ونُصمم أربع مهام لدمج المعلومات النصية والهيكلية أثناء التدريب المسبق. كما نصمم إطارًا موحدًا لسد الفجوة بين مهام التدريب المسبق والتدريب المُخصص. تُظهر النتائج المُجرّبة على كل من تحليل AMR وإنشاء النص من AMR تفوق نموذجنا. إلى حد معرفتنا، نحن أول من يُفكّر في التدريب المسبق على الرسومات الدلالية.