التحسين الهرمي لسياسة الميزانية للاستدلال التكيفي

تحقيق النماذج الكبيرة للاستدلال أداءً متميزًا من خلال توليد سلسلة الأفكار الموسعة، إلا أنها تعاني من كفاءة حسابية منخفضة من خلال تطبيق استراتيجيات استدلال موحدة بغض النظر عن تعقيد المشكلة. نقدم "تحسين سياسة الميزانية الهرمية" (HBPO)، وهو إطار للتعلم التعزيزي الذي يمكّن النماذج من تعلم عمق الاستدلال المخصص للمشكلة دون التضحية بالقدرة. يعالج HBPO التحدي الجذري لانهيار مساحة الاستكشاف في التدريب الموجه نحو الكفاءة، حيث تؤدي العقوبات على طول النص الناتج إلى تحيز النماذج بعيدًا عن مسارات الاستدلال الطويلة اللازمة. من خلال الاستكشاف الهرمي للميزانية، يقسم منهجنا عينات التدريب إلى مجموعات فرعية متعددة ذات ميزانيات مميزة للرمزيات، بهدف تمكين تخصيص الموارد بشكل فعال مع منع تدهور القدرة. نحن نقدم آليات مكافأة مميزة تخلق حوافز تتماشى مع تعقيد المشكلة وتحرص على ميزانية الرمزيات، مما يسمح للنماذج باكتشاف التوازي الطبيعي بين متطلبات المهمة والجهد الحسابي المطلوب. تظهر التجارب الموسعة أن HBPO تقلل من استخدام الرمزيات المتوسط بنسبة تصل إلى 60.6% بينما تزيد من الدقة بنسبة 3.14% عبر أربع معايير استدلال. على عكس الطرق الحالية التي تفرض قيودًا خارجية أو تعتمد على اختيار نمط منفصل، يظهر HBPO سلوكًا تكيفيًا مُكتسبًا حيث تُعدّل النماذج عمق الاستدلال تلقائيًا بناءً على تعقيد المشكلة. تشير نتائجنا إلى أن كفاءة الاستدلال والقدرة ليست متعارضة بشكل أساسي، ويمكن تحسينها في آنٍ واحد من خلال تدريب هرمي مُنظم بشكل مناسب يحافظ على تنوع الاستكشاف.