الملخص

تُقاس موثوقية النماذج اللغوية الكبيرة (LLMs) أثناء التوسع في وقت الاختبار غالبًا باستخدام مُحقّقات خارجية أو نماذج مكافأة تميّز بين الاستنتاج الصحيح والمنطق الخاطئ. وغالبًا ما افترضت الدراسات السابقة أن نماذج المكافأة للعملية (PRMs)، التي تُقيّم كل خطوة من خطوات التفكير الوسيطة، تفوق نماذج المكافأة الناتجة (ORMs)، التي تقيّم فقط الإجابة النهائية. ويعتمد هذا الرأي بشكل رئيسي على أدلة من مجالات ضيقة تتمحور حول الرياضيات. نقدّم أول تقييم موحد لأربعة أنواع من نماذج المكافأة: نموذج مكافأة ناتجة تمييزي (\DisORM)، ونموذج مكافأة عملية تمييزي (\DisPRM)، ونموذج مكافأة ناتجة توليدي (\GenORM)، ونموذج مكافأة عملية توليدي (\GenPRM)، عبر 14 مجالًا متنوعًا. وخلافًا للرأي السائد، نجد أن (i) يُظهر \DisORM أداءً مُعادلًا لـ \DisPRM، (ii) لا يُعدّ \GenPRM منافسًا فعّالًا، و(iii) بشكل عام، يُعدّ \GenORM أكثر موثوقية، ويحقق مكاسب كبيرة ومستقرة في كل مجال تم اختباره. ونُعزّي هذا الأداء إلى التقييم التدريجي للخطوات على الطريقة الخاصة بنماذج PRM، الذي يرث ضجيج التسمية من عملية تسمية النماذج اللغوية الكبيرة تلقائيًا، ويعاني من صعوبة في تقييم المسارات الطويلة للتفكير، بما في ذلك تلك التي تتضمّن تحسينًا ذاتيًا للتفكير. وتبين التحليلات النظرية أن تجميع الخطوات يُضاعف الأخطاء مع زيادة طول عملية التفكير، وتؤكد الملاحظات التجريبية هذا التأثير. وتشكّل هذه النتائج تحديًا للفرضية السائدة التي تفترض أن التوجيه التفصيلي دائمًا أفضل، وتدعم استخدام التحقق التوليدي من النتائج في السياقات متعددة المجالات. ونُطلق بشكل علني كودنا وبياناتنا ونقاط التحقق (checkpoints) على الرابط التالي: https://github.com/db-Lee/Multi-RM لتمكين الأبحاث المستقبلية في البيئات متعددة المجالات.