Alexia Jolicoeur-Martineau

الملخص

نموذج الاستدلال الهرمي (HRM) هو نهج جديد يعتمد على استخدام شبكتين عصبيتين صغيرتين تعملان بشكل تكراري بترددات مختلفة. ويتفوق هذا النهج المستوحى من الطبيعة في أداء نماذج اللغة الكبيرة (LLMs) على مهام الألغاز الصعبة مثل سودوكو والمتاهات وARC-AGI، رغم تدريبه باستخدام نماذج صغيرة (27 مليون معلمة) على بيانات صغيرة (حوالي 1000 مثال). ويعتبر HRM واعدًا جدًا في حل المشكلات الصعبة باستخدام شبكات صغيرة، لكنه لا يزال غير مفهوم بالكامل وقد يكون غير مثالي. ونُقدّم هنا نموذج الاستدلال التكراري الصغير (TRM)، وهو نهج تكراري أبسط بكثير، يحقق تعميمًا أقوى بشكل ملحوظ مقارنة بـ HRM، مع استخدام شبكة صغيرة واحدة فقط مكوّنة من طبقتين. وباستخدام 7 ملايين معلمة فقط، يحقق TRM دقة اختبار تبلغ 45% على مجموعة بيانات ARC-AGI-1 و8% على ARC-AGI-2، وهي أرقام تفوق معظم نماذج اللغة الكبيرة (مثل Deepseek R1 وo3-mini وGemini 2.5 Pro)، مع استخدام أقل من 0.01% من عدد المعلمات التي تستخدمها هذه النماذج.