الطرق الحديثة لتكوين الأسئلة استخدمت تعديلات على بنية Seq2Seq مستوحاة من التقدم في ترجمة الآلة. يتم تدريب النماذج باستخدام الإجبار المعلم بهدف تحسين التنبؤ خطوة واحدة إلى الأمام فقط. ومع ذلك، عند وقت الاختبار، يُطلب من النموذج إنشاء سلسلة كاملة، مما يؤدي إلى انتشار الأخطاء عبر عملية التكوين (التحيز الكشفي). اقترح العديد من الباحثين مواجهة هذا التحيز عن طريق تحسين مكافأة أقل ربطًا بالبيانات التدريبية، باستخدام التعلم التعزيزي. نحن نحسن مباشرة للمعايير الجودة، بما في ذلك طريقة جديدة تستخدم مميزًا تم تعلمه مباشرة من البيانات التدريبية. نؤكد أن طرق التدرج الحاسمة للسياسة يمكن استخدامها لفصل التدريب عن الحقيقة الأرضية، مما يؤدي إلى زيادة في المعايير المستخدمة كمكافآت. نقوم بتقييم بشري ونظهر أن هذه المعايير التي كانت تعتبر سابقًا بمثابة مؤشرات جيدة لجودة السؤال، ليست متناسقة بشكل سيء مع الحكم البشري وأن النموذج ببساطة يتعلم استغلال نقاط ضعف مصدر المكافأة.