اليوم، تحقق النماذج اللغوية المُدرَّبة مسبقًا نجاحًا كبيرًا في مهمة توليد الأسئلة (QG)، وتفوقت بشكل ملحوظ على النماذج التسلسلية إلى تسلسل التقليدية. ومع ذلك، تتعامل النماذج المُدرَّبة مسبقًا مع النص المدخل كسلسلة مسطحة، وبالتالي لا تأخذ بعين الاعتبار البنية النصية للنص المدخل. وفي مهمة توليد الأسئلة، نُمذِّل البنية النصية من خلال موقع الإجابة والاعتماد النحوي، ونُقدِّم نمذجة الاقتراب من الإجابة (answer localness modeling) وآلية انتباه التمويه النحوي (syntactic mask attention) لمعالجة هذه القيود. بشكل خاص، نُقدِّم نمذجة الاقتراب باستخدام انحياز غاوسي لتمكين النموذج من التركيز على السياق المحيط بالإجابة، ونُقترح آلية انتباه تمويهية تجعل البنية النحوية للنص المدخل متاحة أثناء عملية توليد الأسئلة. تُظهر التجارب على مجموعة بيانات SQuAD أن الوظيفتين المُقترحتين تُحسّنان الأداء مقارنة بنموذج ProphetNet القوي المُدرَّب مسبقًا، وأن دمجهما معًا يحقق نتائج تنافسية جدًا مع أحدث النماذج المُدرَّبة مسبقًا.