تُعرف النماذج اللغوية الكبيرة المُدرَّبة مسبقًا (LMs) بأنها تحتوي على كميات كبيرة من المعلومات اللغوية. ومع ذلك، فإن المهارات الاستدلالية العليا، مثل الاستدلال العددي، يصعب تعلّمها باستخدام هدف تدريب النموذج اللغوي وحده. ونتيجة لذلك، اعتمدت النماذج الحالية للاستدلال العددي على معمارية متخصصة ذات مرونة محدودة. في هذه الدراسة، نُظهر أن الاستدلال العددي يمكن تكييفه مع توليد البيانات تلقائيًا، وبالتالي يمكن إدخال هذه المهارة إلى النماذج اللغوية المُدرَّبة مسبقًا من خلال إنشاء كميات كبيرة من البيانات، ثم تدريب النموذج في بيئة متعددة المهام. نُثبت أن التدريب المسبق لنموذجنا، GenBERT، على هذه البيانات يُحسّن بشكل كبير الأداء في مهمة DROP (من 49.3 إلى 72.3 F1)، ليصل إلى أداء يُعادل نماذج الحد الأقصى من حيث الحجم المماثل، مع استخدام بنية مشفرة-مُفكّكة بسيطة وعامة. علاوةً على ذلك، تُظهر GenBERT قدرة جيدة على التعميم على مجموعات بيانات مشكلات الرياضيات الكلامية، مع الحفاظ على أداء عالٍ في المهام القياسية لاستخلاص المعلومات (RC). يقدّم نهجنا وصفة عامة لإدخال المهارات إلى النماذج اللغوية الكبيرة المُدرَّبة مسبقًا، متى ما كانت المهارة قابلة للتوليد التلقائي للبيانات.