Command Palette
Search for a command to run...
PivotRL: تدريب ما بعد التوليدي بذكاء وكيل عالي الدقة بتكلفة حاسوبية منخفضة
PivotRL: تدريب ما بعد التوليدي بذكاء وكيل عالي الدقة بتكلفة حاسوبية منخفضة
الملخص
يواجه ما يُعرف بالتدريب اللاحق (Post-training) للمهام الوكيلية ذات الأفق الطويل توتراً بين كفاءة الحوسبة وقابلية التعميم. فبينما يُعدّ الضبط الدقيق الخاضع للإشراف (SFT) فعالاً من حيث استهلاك الحوسبة، فإنه غالباً ما يعاني من تدهور الأداء في المجالات خارج نطاق التدريب (OOD). وعلى النقيض، فإن التعلم التعزيزي من الطرف إلى الطرف (E2E RL) يحافظ على القدرات المتعلقة بالمجالات خارج نطاق التدريب، إلا أنه ينطوي على تكاليف حوسبة مرتفعة نظراً لاحتياجه إلى عدد كبير من دورات التمرير (rollout) وفق السياسة الحالية (on-policy).في هذا السياق، نقدم إطار عمل "PivotRL"، وهو إطار مبتكر يعمل على مسارات التدريب الخاضع للإشراف (SFT trajectories) القائمة، بهدف الجمع بين كفاءة الحوسبة التي يوفرها الـ SFT ودقة الـ E2E RL في التعامل مع المجالات خارج نطاق التدريب. يعتمد PivotRL على آليتين رئيسيتين: أولاً، يقوم بتنفيذ دورات تمرير محلية وفق السياسة الحالية (local, on-policy rollouts) ثم يفلتر ما يُعرف بـ "Pivots"، وهي دورات وسيطة غنية بالمعلومات حيث تُظهر الإجراءات المأخوذة عينةً تبايناً عالياً في النتائج. ثانياً، يستفيد من المكافآت المخصصة للإجراءات المكافئة وظيفياً (functional-equivalent actions)، بدلاً من اشتراط التطابق الصارم للنصوص مع بيانات العرض التوضيحي في الـ SFT.نُظهر نظرياً أن هاتين الآليتين تحفّزان إشارات تعلم قوية ذات معيار طبيعي عالٍ (high natural gradient norm)، مع الحفاظ بأقصى قدر ممكن على ترتيب احتمالات السياسة (policy probability ordering) للإجراءات غير المرتبطة بمهام التدريب. وفي مقارنة مع الـ SFT القياسي المُطبّق على نفس البيانات، أثبتنا أن PivotRL يحقق تحسناً متوسطاً بنسبة +4.17% في الدقة داخل نطاق التدريب (in-domain accuracy) عبر أربعة مجالات وكيلية، كما يحقق تحسناً بنسبة +10.04% في الدقة خارج نطاق التدريب (OOD accuracy) في المهام غير الوكيلية. ومن الجدير بالذكر أنه في مهام البرمجة الوكيلية، يحقق PivotRL دقة تنافسية مقارنة بـ E2E RL، وذلك مع تقليل عدد دورات التمرير (rollout turns) بنسبة 4 أضعاف.وقد اعتمدت شركة NVIDIA إطار عمل PivotRL في نموذجها "Nemotron-3-Super-120B-A12B"، ليُصبح المحرك الأساسي (workhorse) في عمليات التدريب اللاحق على نطاق إنتاجي للمهام الوكيلية.