أظهرت نموذج GPT-4 Code Interpreter الذي تم إطلاقه حديثًا كفاءة ملحوظة في حل المشكلات الرياضية الصعبة، وذلك بشكل رئيسي بفضل قدرته على التفكير السلس باستخدام اللغة الطبيعية، وإنشاء التعليمات البرمجية، وتنفيذها، ثم الاستمرار في التفكير بناءً على نتائج التنفيذ. في هذه الورقة، نقدم طريقة لتحسين النماذج اللغوية المفتوحة المصدر، بحيث تتمكن من استخدام التعليمات البرمجية لتمثيل المعادلات الرياضية واستخلاصها، وبالتالي تحسين قدراتها في التفكير الرياضي. نقترح منهجية لإنشاء مجموعات بيانات جديدة وعالية الجودة تتضمن مشكلات رياضية وحلولها القائمة على التعليمات البرمجية، ونُطلق عليها اسم MathCodeInstruct. حيث تتضمن كل حلول تداخلًا بين اللغة الطبيعية والكود ونتائج التنفيذ. كما نقدم أيضًا منهجية مخصصة للتحسين المراقب والاستنتاج. يؤدي هذا النهج إلى تطوير نماذج MathCoder، وهي عائلة من النماذج القادرة على إنتاج حلول قائمة على التعليمات البرمجية لحل المشكلات الرياضية المعقدة. ومن المثير للإعجاب أن نماذج MathCoder تحقق أفضل النتائج بين النماذج اللغوية المفتوحة المصدر على مجموعتي البيانات MATH (45.2%) وGSM8K (83.9%)، وتتفوق بشكل كبير على البدائل المفتوحة المصدر الأخرى. وبشكل لافت، تتجاوز نموذج MathCoder كل من ChatGPT-3.5 وPaLM-2 على مجموعتي البيانات GSM8K وMATH، كما تتفوق على GPT-4 في مجموعات البيانات ذات المستوى التنافسي مثل MATH. سيتم إصدار مجموعة البيانات والنموذج على الرابط التالي: https://github.com/mathllm/MathCoder.