Zeyu Gan Hao Yi Yong Liu

الملخص

أصبحت التعلم القوي (RL) من الأساليب المحورية لتعزيز قدرات الاستدلال لدى النماذج اللغوية الكبيرة (LLMs). ومع ذلك، لا تزال هناك فجوة نظرية كبيرة، إذ تفشل الأطر التقليدية للتعلم القوي على مستوى الرموز (token-level) في التوافق مع الطبيعة الاستدلالية للعمليات الفكرية المعقدة ذات الخطوات المتعددة، مثل نموذج السلسلة التفكيرية (CoT). ولحل هذه التحديات، نقدم إطارًا نظريًا جديدًا يُسمى CoT-Space، الذي يعيد صياغة عملية استدلال النماذج اللغوية الكبيرة من مهمة توقع الرموز المنفصلة إلى عملية تحسين داخل فضاء معنوي مستمر على مستوى الاستدلال. ومن خلال تحليل هذه العملية من منظورين: من منظور الضوضاء (noise) ومن منظور المخاطر (risk)، نُظهر أن التقارب نحو الطول الأمثل لسلسلة التفكير (CoT) هو نتيجة طبيعية للتجاذب الأساسي بين نقص التكيف (underfitting) والتفوق في التكيف (overfitting). علاوة على ذلك، تقدم التجارب الواسعة دعمًا تجريبيًا قويًا لنتائجنا النظرية. ويشكل إطارنا ليس فقط تفسيرًا متماسكًا للظواهر التجريبية مثل "التفكير المفرط"، بل يوفر أيضًا أساسًا نظريًا متينًا لتوجيه تطوير وكالة استدلالية أكثر فعالية وقابلية للتوسع في المستقبل.