يُعد اختيار الجملة (AS2) عنصراً أساسياً في بناء نموذج دقيق للإجابة على الأسئلة. تقوم نماذج AS2 بتصنيف مجموعة من الجمل المرشحة بناءً على مدى احتمالية إجابتها عن سؤال معين. وتعتمد أحدث التقنيات في AS2 على نماذج المحولات المُدرّبة مسبقًا، من خلال نقل هذه النماذج إلى مجموعات بيانات كبيرة مُوسومة، مع الاستفادة من المعلومات السياقية المحلية المحيطة بالجملة المرشحة. في هذه الورقة البحثية، نقترح ثلاثة أهداف لتدريب مسبق صُممت لتُحاكي مهمة التدقيق الدقيق للنماذج السياقية في AS2. ويُمكن هذا التدريب من تخصيص النماذج اللغوية (LMs) عند التدقيق الدقيق لتطبيقات AS2 السياقية. وتُظهر تجاربنا على ثلاث مجموعات بيانات عامة وبيانات صناعية كبيرة الحجم أن نهج التدريب المسبق الذي اقترحناه (المطبق على RoBERTa وELECTRA) يمكنه تحسين دقة النموذج الأساسي لـ AS2 السياقية بنسبة تصل إلى 8% على بعض المجموعات البيانات.