شهدت السنوات الأخيرة تحولًا جوهريًا في معالجة اللغة الطبيعية نحو استخدام نماذج اللغة المُدرّبة مسبقًا (PLM) لعدد واسع من المهام. ومع ذلك، تظل هناك قرارات تصميمية صعبة فيما يتعلق بتمثيل الهياكل (مثل النصوص المُوسومة، وسلسلة الترابط النحوي) بطريقة تمكن نماذج PLM من اكتسابها بشكل فعّال. في الدراسات السابقة حول التنبؤ الهيكلي باستخدام نماذج PLM، كان يتم عادةً تسطيح الإخراج الهيكلي إلى تسلسل خطي، مما يحد من جودة المعلومات الهيكلية المُكتسبة ويؤدي إلى أداء أضعف مقارنة بالنماذج التمييزية الكلاسيكية. في هذا العمل، نُقدّم منهجية لتمثيل الهياكل كسلسلة من الإجراءات بطريقة تلقائية توليدية باستخدام نماذج PLM، مما يسمح بتعلم الاعتماديات داخل الهيكل دون أي فقدان للمعلومات. تحقّق هذه المنهجية أفضل أداء مُسجّل حتى الآن على جميع مهام التنبؤ الهيكلي التي تم دراستها، وهي التعرف على الكيانات المُعرّفة، واستخراج العلاقات بشكل كامل، وحل الترابط النحوي.