لقد استفادت عملية توليد النص من الرسم البياني من نماذج اللغة المدربة مسبقًا (PLMs) في تحقيق أداء أفضل من مُشفرات الرسم البياني المهيكلة. ومع ذلك، فإنها تفشل في الاستفادة الكاملة من المعلومات الهيكلية للرسم البياني المدخل. في هذا البحث، نهدف إلى تحسين الأداء لنموذج اللغة المدرب مسبقًا من خلال اقتراح نموذج رسم بياني-إلى-نص مهيكل مع آلية تعديل دقيقة ذات خطوتين، حيث يتم تعديل النموذج أولاً على ويكيبيديا قبل التكيف لتوليد النص من الرسم البياني. بالإضافة إلى استخدام التضمينات التقليدية للمفردات والمواقع لترميز الرسم البياني للمعرفة (KG)، نقترح طريقة جديدة للتضمين على مستوى الشجرة لالتقاط الهياكل المعتمدة متبادلًا للرسم البياني المدخل. قد أدت هذه الطريقة الجديدة إلى تحسين كبير في أداء جميع مقاييس توليد النص للبيانات الإنجليزية WebNLG 2017.