يواجه حل مسائل الرياضيات الكلامية (MWP) تناقضاً في تعلم تمثيل الأعداد. لتجنب مشكلة تمثيل الأعداد وتقليل فضاء الحلول الممكنة، تسعى الدراسات الحالية لحل مسائل MWP إلى استبدال الأعداد الحقيقية بعناصر رمزية بديلة، بهدف التركيز على الاستدلال المنطقي. ومع ذلك، تختلف مسائل MWP عن مهام الاستدلال الرمزي الشائعة مثل تركيب البرامج واستدلال رؤوس المعرفة، حيث تتطلب مسائل MWP متطلبات إضافية في الاستدلال العددي. بعبارة أخرى، لا يهم في الاستدلال العددي القيمة العددية نفسها، بل المهم هو الخصائص العددية القابلة لإعادة الاستخدام. ولهذا نجادل بأن إدخال خصائص عددية إلى العناصر الرمزية باستخدام نموذج تعلم تمثيل سياقي يمكن أن يوفر مخرجاً من هذا التناقض في مشكلة تمثيل الأعداد. في هذا العمل، نُطبّق هذه الفكرة على تقنيات النماذج اللغوية المُدرّبة مسبقاً (PLM) الشائعة، ونُنشئ MWP-BERT، وهو نموذج لغوي مُدرّب مسبقاً فعّال يعتمد على تمثيل سياقي للأعداد. ونُظهر فعالية نموذج MWP-BERT في حل مسائل MWP، وكذلك في عدة مهام تتعلق بفهم محددات MWP، على مجموعات بيانات باللغة الإنجليزية والصينية.