في هذه الدراسة، نستكشف استخدام نموذج اللغة المُدرَّب مسبقًا BERT لمعالجة مهام إنشاء الأسئلة. نقدم ثلاث هياكل عصبية مبنية على BERT لمهام إنشاء الأسئلة. الأول هو استخدام مباشر لـ BERT، والذي يُظهر العيوب الناتجة عن الاستخدام المباشر لـ BERT في توليد النصوص. وعليه، نقترح نموذجين آخرين من خلال إعادة هيكلة استخدامنا لـ BERT بطريقة تسلسلية، بهدف استخلاص المعلومات من النتائج المُفكَّكة سابقًا. تم تدريب نماذجنا وتقييمها على مجموعة بيانات إجابات الأسئلة الحديثة SQuAD. تُظهر نتائج التجربة أن أفضل نموذج لدينا يحقق أداءً من الدرجة الأولى، حيث يُحسّن مقياس BLEU 4 مقارنةً بأفضل النماذج الحالية من 16.85 إلى 22.17.