تتمثل المهمة الخاصة بإنشاء الأسئلة الطبيعية في إنتاج سؤال مطابق عند إعطاء passage (معلومة) والإجابة كمدخلات. وتُعد هذه المهمة مفيدة في توسيع مجموعة التدريب لأنظمة الإجابة على الأسئلة. وقد اعتمدت الدراسات السابقة على نماذج التسلسل إلى التسلسل التي تأخذ passage مع إشارة إضافية تُشير إلى موقع الإجابة كمدخلات. ومع ذلك، فإنها لا تُنمذج بشكل صريح المعلومات الموجودة بين الإجابة والسياق الآخر داخل passage. نقترح نموذجًا يُطابق الإجابة مع passage قبل إنشاء السؤال. وتُظهر التجارب أن نموذجنا يتفوق على الحالة الحالية للتقنية الحالية باستخدام ميزات غنية.