ويسارد ماث: تعزيز التفكير الرياضي للنماذج اللغوية الكبيرة من خلال توجيه التحسين المُعزَّز

أظهرت نماذج اللغة الكبيرة (LLMs)، مثل GPT-4، أداءً ملحوظًا في مهام معالجة اللغة الطبيعية (NLP)، بما في ذلك الاستدلال الرياضي المتقدم. ومع ذلك، فإن معظم النماذج المفتوحة المصدر الحالية تم تدريبها فقط على بيانات واسعة النطاق من الإنترنت دون تحسين مخصص للرياضيات. في هذه الورقة، نقدم WizardMath، التي تُعزز قدرات النماذج اللغوية الكبيرة على الاستدلال التفكيري التسلسلي (CoT) في الرياضيات دون الحاجة إلى أدوات خارجية بلغة بايثون، وذلك من خلال تطبيق طريقة التعلم بالتحفيز من خلال التغذية الراجعة المُطوَّرة (RLEIF) التي نقترحها، في مجال الرياضيات. من خلال تجارب واسعة النطاق على مBenchmarkين رياضيين، وهما GSM8k وMATH، كشفنا عن القدرات الاستثنائية لنماذجنا. وتجدر الإشارة إلى أن WizardMath-Mistral 7B تتفوق بشكل كبير على أبرز النماذج المفتوحة المصدر، مع كفاءة أعلى في استخدام البيانات. علاوة على ذلك، تتفوق نسخة WizardMath 70B على نماذج مثل GPT-3.5-Turbo وClaude 2 وGemini Pro وGPT-4-النسخة المبكرة. كما تسلط دراستنا الأولية الضوء على الدور المحوري لتطور التعليمات والرقابة على العملية لتحقيق أداء رياضي استثنائي. لمزيد من التفاصيل، يُرجى زيارة: https://github.com/nlpxucan/WizardLM