HyperAIHyperAI

Command Palette

Search for a command to run...

هل يحسن التفكير الرياضي قدرات النماذج اللغوية الكبيرة بشكل عام؟ فهم نقل قدرة التفكير في النماذج اللغوية الكبيرة

Maggie Huan Yuetai Li Tuney Zheng Xiaoyu Xu Seungone Kim Minxin Du Radha Poovendran Graham Neubig Xiang Yue

الملخص

أصبح التفكير الرياضي رمزًا للتقدم في نماذج اللغات الكبيرة (LLMs)، حيث تتجاوز النماذج الجديدة بسرعة الأداء البشري في مقاييس مثل MATH و AIME. ومع تحسين قائمة المتصدرين في الرياضيات أسبوعًا بعد أسبوع، من الجدير طرح السؤال: هل تعكس هذه المكاسب قدرة أوسع على حل المشكلات أم مجرد تناسب ضيق؟ للاجابة على هذا السؤال، نقيم أكثر من 20 نموذجًا مفتوح الوزن ومُعَدَّل للتفكير عبر مجموعة واسعة من المهام، بما في ذلك الرياضيات، والاستفسار العلمي، والتخطيط الوكيل، والبرمجة، وتتبع التعليمات القياسية. وقد فوجئنا باكتشاف أن معظم النماذج التي تنجح في الرياضيات لا تستطيع نقل مكاسبها إلى مجالات أخرى. لدراسة هذا الظاهرة بشكل دقيق، أجرينا تجارب مراقبة على نماذج Qwen3-14B باستخدام بيانات خاصة بالرياضيات ولكن بطرق تعديل مختلفة. اكتشفنا أن النماذج التي تم تعديلها باستخدام التعلم التعزيزي (RL) تعمم بشكل جيد عبر المجالات المختلفة، بينما غالبًا ما تنسى النماذج التي تم تعديلها بالتعلم الإشرافي الدقيق (SFT) القدرات العامة. كشفتanalyses التحليلات لتمثيل الفضاء الخفي وتغير توزيع الفضاء الرمزي أن SFT يسبب انحرافًا كبيرًا في التمثيل والإخراج، بينما يحافظ RL على هيكل المجال العام. تقترح نتائجنا الحاجة إلى إعادة النظر في الوصفات القياسية لما بعد التدريب، وبشكل خاص الاعتماد على البيانات المستخلصة من SFT لتطوير نماذج التفكير.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
هل يحسن التفكير الرياضي قدرات النماذج اللغوية الكبيرة بشكل عام؟ فهم نقل قدرة التفكير في النماذج اللغوية الكبيرة | مستندات | HyperAI