Siwei Wang Yifei Shen Haoran Sun Shi Feng Shang-Hua Teng et al

الملخص

أظهرت الطرق الحديثة للتعلم بالتعزيز (RL) تحسّنًا كبيرًا في قدرات التخطيط الخاصة بنماذج اللغة الكبيرة (LLMs)، ومع ذلك، ما زال الأساس النظري لفعاليتها غامضًا. في هذه الدراسة، نستعرض فوائد وقيود التعلم بالتعزيز من خلال نموذج تبسيط مبني على الرسوم البيانية، مع التركيز على طرق تدرج السياسة (PG) والتعلم Q. تكشف تحليلاتنا النظرية أن التدريب المُحسَّن بأسلوب مراقب (SFT) قد يؤدي إلى حلول مضللة تعتمد على التكرار المشترك، في حين أن التعلم بالتعزيز يحقق التخطيط الصحيح بشكل أساسي من خلال الاستكشاف، مما يُبرز الدور المحوري للاستكشاف في تمكين التعميم الأفضل. ومع ذلك، نُظهر أيضًا أن طريقة تدرج السياسة تعاني من انهيار التنوّع، حيث تنخفض تنوع النتائج أثناء التدريب، وتبقى منخفضة حتى بعد تحقيق دقة مثالية. على العكس، يوفر التعلم Q ميزتين رئيسيتين: التعلم غير المُوجَّه (off-policy) والحفاظ على التنوّع عند الوصول إلى التقارب. كما نُثبت أن تصميم المكافآت بعناية ضروري لمنع ظاهرة "استغلال المكافآت" (reward hacking) في التعلم Q. وأخيرًا، عند تطبيق إطارنا على معيار تخطيط واقعي يُعرف باسم Blocksworld، نؤكد أن هذه السلوكيات تظهر فعليًا في الممارسة.