Nicolas Boizard Hippolyte Gisserot-Boukhlef Kevin El-Haddad Céline Hudelot Pierre Colombo

الملخص

لقد حققت النماذج اللغوية الكبيرة (LLMs) ذات القدرات الاستدلالية أداءً متميزًا في طيف واسع من المهام. وعلى الرغم من النجاح التجريبي الذي أحرزته، تظل المهام ومقاييس النماذج التي تصبح فيها القدرات الاستدلالية فعّالة، إلى جانب تكاليف التدريب والاستنتاج، موضوعات غير كافية الاستكشاف. في هذه الدراسة، نعتمد إطارًا لاستخلاص البيانات الاصطناعية لإجراء دراسة مراقبة على نطاق واسع. ونقارن بين التدريب المُعدّل حسب التعليمات (IFT) والنماذج الاستدلالية بمقاييس مختلفة، على مجموعة واسعة من المهام المرتبطة بالرياضيات والمهام العامة، مع تقييم كلا التنسيقيين: متعددة الخيارات والأسئلة المفتوحة. تُظهر تحليلاتنا أن القدرة الاستدلالية تُحسّن أداء النموذج بشكل متسق، وتُسجّل غالبًا أداءً يُعادل أو يتفوق بشكل ملحوظ على النماذج الأكبر في إطار IFT. ومن الملاحظ بارزًا أن رغم بقاء IFT الأفضل من حيث التوازن بين تكاليف التدريب والاستنتاج، فإن النماذج الاستدلالية تكتسب أهمية متزايدة مع زيادة حجم النموذج، وتتجاوز حدود الأداء التي تفرضها IFT في المهام التي تتطلب استدلالًا مكثفًا والأسئلة المفتوحة.