نقدّم "ReasonBert"، وهي طريقة لتدريب مُسبَق لنموذج لغوي تُزوّده بقدرة التفكير في العلاقات الطويلة المدى والسياقات المتعددة، بما في ذلك السياقات الهجينة. على عكس الطرق الحالية للتدريب المسبق التي تستخلص إشارات التعلّم فقط من السياقات المحلية للنصوص الطبيعية، نقترح مفهومًا عامًا للإشراف البعيد، بهدف ربط تلقائي لعدة قطع نصية وجداول لتكوين أمثلة تدريب مسبق تتطلب تفكيرًا طويل المدى. ونُحاكي أنواعًا مختلفة من التفكير، بما في ذلك تقاطع عدة قطع من الأدلة، وربط قطعة دليل بأخرى، وكشف الحالات التي لا يمكن الإجابة عنها. أجرينا تقييمًا شاملاً على مجموعة متنوعة من مجموعات بيانات الإجابة على الأسئلة الاستخراجية، تتراوح من السؤال ذي الخطوة الواحدة إلى الأسئلة متعددة الخطوات، ومن النصوص فقط إلى الجداول فقط، وصولاً إلى السياقات الهجينة التي تتطلب قدرات تفكير متنوعة، وتبين أن "ReasonBert" يحقق تحسينًا ملحوظًا مقارنة بعدة نماذج قوية كأساسية. كما أظهرت التجارب القائمة على عدد قليل من الأمثلة (few-shot) أن طريقة التدريب المسبق لدينا تُحسّن بشكل كبير كفاءة العينة.