من المحاكاة إلى التمييز: نحو آلية ميزة منهجية عامة تعزز المهام الاستدلالية عبر المجالات
من المحاكاة إلى التمييز: نحو آلية ميزة منهجية عامة تعزز المهام الاستدلالية عبر المجالات

الملخص
أصبح التعلم بالتعزيز نموذجًا مُبَرَّرًا لتدريب النماذج اللغوية الكبيرة بعد التدريب، حيث يُعزز قدرات التفكير التمثيلي فيها. تعتمد هذه النماذج على حساب قيمة ميزة لكل عينة، تعكس أداءً أفضل أو أسوأ من المتوقع، مما يُنتج إشارات إيجابية وسلبية لعملية التدريب. ومع ذلك، فإن الخلط العشوائي بين هاتين الإشارتين في الطرق الحالية، خاصة في المراحل المبكرة، قد يؤدي إلى توجيه غامض وتحسينات محدودة. لمعالجة هذه المشكلة، نقترح CAPO (Curriculum Advantage Policy Optimization)، وهو آلية منهجية تكيفية تعتمد على إشارات الميزة. تُستخدم الآلية المُقترحة لتمكين التعلم بالمحاكاة باستخدام عينات ميزة إيجابية فقط لبناء أساس قوي، ثم تُدمج لاحقًا إشارات سلبية لتنمية القدرات التمييزية، مما يُحسّن التعميم في السيناريوهات المعقدة. وتمتاز طريقة العمل هذه بالتوافق مع مختلف أساليب التحسين، بما في ذلك GRPO وPPO وRLOO وReinforce++، حيث تحقق تحسينات مستقرة وملحوظة في مهام التفكير الرياضي، وتمتد فعاليتها بشكل فعّال إلى سيناريوهات التفكير متعددة الوسائط (GUI)، مما يُثبت مكانتها كإطار تحسين مرن وقوي.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.