تُعد مشكلة تصميم حلول لمشكلات الكلمات الرياضية (MWP) باستخدام معالجات معالجة اللغة الطبيعية (NLP) موضوعًا يشهد نشاطًا بحثيًا مستمرًا، مع تحسن مستمر في دقة الاختبار. وبما أن الحلول الحالية تحقق أداءً عاليًا على مجموعات البيانات القياسية الخاصة بمشكلات الكلمات الحسابية ذات المجهول الواحد في المستويات الابتدائية، فإن هذه المشكلات تُعتبر غالبًا "مُحَلَّة"، ويتوجه معظم الاهتمام البحثي نحو مشكلات أكثر تعقيدًا. في هذه الورقة، نقتصر اهتمامنا على مشكلات الكلمات الرياضية باللغة الإنجليزية التي تُدرَّس في الصفوف الأربعة الأولى. ونقدِّم أدلة قوية على أن الحلول الحالية لمشكلات الكلمات الرياضية تعتمد على هيكلات سطحية (heuristics) بسيطة لتحقيق أداء عالٍ على مجموعات البيانات القياسية. ولتحقيق ذلك، نُظهر أن نماذج حل مشكلات الكلمات الرياضية التي لا تملك وصولًا إلى السؤال المطروح في المشكلة لا تزال قادرة على حل نسبة كبيرة من هذه المشكلات. وبالمثل، يمكن للنماذج التي تُعامل مشكلات الكلمات الرياضية كمجموعة من الكلمات (bag-of-words) أن تحقق دقة عالية بشكل مُدهِش. علاوةً على ذلك، نُقدِّم مجموعة بيانات تحدٍ جديدة تُسمى SVAMP، تم إنشاؤها من خلال تطبيق تغيرات مدروسة على أمثلة تم اختيارها من مجموعات بيانات موجودة مسبقًا. وتُظهر النتائج أن أفضل دقة تحققها النماذج المتطورة حاليًا تقل بشكل ملحوظ على مجموعة البيانات SVAMP، مما يدل على أن هناك الكثير الذي يتعين إنجازه حتى في أبسط أنواع مشكلات الكلمات الرياضية.