Kaiyan Zhang Yuxin Zuo Bingxiang He Youbang Sun Runze Liu et al

الملخص

في هذه الورقة، نستعرض التطورات الحديثة في التعلم بالتعزيز (Reinforcement Learning - RL) لتعزيز قدرات النماذج اللغوية الكبيرة (Large Language Models - LLMs) على التفكير والاستنتاج. وقد حقق التعلم بالتعزيز نجاحًا ملحوظًا في دفع حدود إمكانيات النماذج اللغوية الكبيرة، لا سيما في معالجة المهام المنطقية المعقدة مثل الرياضيات والبرمجة. وبفعل ذلك، برز التعلم بالتعزيز كمنهجية أساسية لتحويل النماذج اللغوية الكبيرة إلى نماذج تفكيرية متقدمة (Logical Reasoning Models - LRMs). ومع التقدم السريع في هذا المجال، تواجه محاولة التوسع الإضافي للتعلم بالتعزيز في سياق النماذج التفكيرية الآن تحديات جوهرية لا تقتصر على الموارد الحسابية فحسب، بل تمتد أيضًا إلى تصميم الخوارزميات، وبيانات التدريب، والبنية التحتية. ولذلك، أصبح من الضروري في الوقت الراهن إعادة النظر في تطور هذا المجال، وإعادة تقييم مساره، واستكشاف استراتيجيات لتعزيز قابلية التوسع للتعلم بالتعزيز نحو تحقيق الذكاء الاصطناعي الفائق (Artificial SuperIntelligence - ASI). وبشكل خاص، نُجري تحليلًا للبحث المطبق للتعلم بالتعزيز على النماذج اللغوية الكبيرة والنمذجة التفكيرية (LRMs) لتعزيز قدرات التفكير، لا سيما منذ إصدار نموذج DeepSeek-R1، مع التركيز على المكونات الأساسية، والمشكلات الجوهرية، وموارد التدريب، والتطبيقات اللاحقة، بهدف تحديد الفرص والاتجاهات المستقبلية في هذا المجال المتسارع التطور. ونأمل أن تسهم هذه المراجعة في دفع عجلة الأبحاث المستقبلية في مجال التعلم بالتعزيز للنماذج التفكيرية الأوسع نطاقًا.