الملخص

الاستنتاج يُعدّ قدرة أساسية في النماذج اللغوية الكبيرة، ومع ذلك لا يزال فهم كيفية تعلّمها وأداءها للاستنتاج متعدد الخطوات مشكلة مفتوحة. في هذه الدراسة، نستعرض كيف تؤثر المعماريات المختلفة وطرق التدريب المختلفة على قدرات النموذج في الاستنتاج متعدد الخطوات ضمن إطار نماذج الآلات الخلوية. من خلال التدريب على تسلسلات الحالة الناتجة عن دوال بوولية عشوائية تحت ظروف ابتدائية عشوائية، وبهدف استبعاد الذاكرة المُخزّنة، نُظهر أن معظم المعماريات العصبية تتعلم استخلاص القواعد الكامنة وراء النظام. وعلى الرغم من أن النماذج تحقق دقة عالية في توقع الحالة التالية، إلا أن أداؤها ينخفض بشكل حاد عندما تتطلب المهمة استنتاجًا متعدد الخطوات. ونؤكد أن زيادة عمق النموذج تلعب دورًا حاسمًا في العمليات التسلسلية. كما نُظهر أن توسيع عمق النموذج الفعّال من خلال التكرار (recurrence) والذاكرة وتوسيع حسابات الوقت أثناء الاختبار (test-time compute scaling) يُعزز بشكل كبير من قدرات الاستنتاج.