Xilin Wei Xiaoran Liu Yuhang Zang Xiaoyi Dong Yuhang Cao Jiaqi Wang Xipeng Qiu Dahua Lin

الملخص

تُعدّ أساليب التفكير المتسلسل الضمني (CoT) بديلًا واعدًا وفعالًا من حيث عدد الرموز (token-efficient) مقارنة بأساليب التفكير المتسلسل الصريحة في النماذج اللغوية الكبيرة (LLMs)، إلا أن الفجوة المستمرة في الأداء قد حدّت من تطبيق الأساليب الضمنية. نحن نُحدِّد مشكلة أساسية في الاستقرار الخفي ناتجة عن توسيع الميزانية الحسابية للأساليب الضمنية: فعندما نزيد عدد الرموز المتعلقة بالاستدلال الضمني بهدف تحسين الأداء، غالبًا ما تصبح عملية التدريب غير مستقرة وتنهار. تُظهر تحليلاتنا أن هذه عدم الاستقرار ناتج عن تماثل التمثيلات الخفية وفقدان تنوعها الدلالي، وهي حالة فشل تُعزى إلى ضعف المراقبة على مستوى الخطوات في الأساليب الضمنية الحالية. ولحل هذه المشكلة، نقترح نموذج SIM-CoT، وهو وحدة تدريب قابلة للتركيب (plug-and-play) تُدخل مراقبة على مستوى الخطوات لاستقرار وثراء الفضاء الخفي للاستدلال. وبشكل خاص، يستخدم SIM-CoT مشفرًا ثانويًا أثناء التدريب لتوحيد كل رمز ضمني مع الخطوة الصريحة المقابلة له في عملية الاستدلال، مما يضمن أن تُمثّل الحالات الخفية معلومات مميزة وذات معنى. ويتم التخلص من المشفر الثانوي أثناء الاستنتاج، مما يحافظ على الكفاءة الحسابية للأساليب الضمنية دون إضافة أي عبء إضافي. علاوةً على ذلك، يُتيح المشفر الثانوي تفسيرًا لعملية الاستدلال الضمني من خلال إسقاط كل رمز خفي على قاموس استدلال صريح، ما يمكّن من تصور دور كل خطوة دلاليًا وتحليلها. يُعزز SIM-CoT بشكل ملحوظ دقة الأداء داخل المجال (in-domain) واستقرار الأداء خارج المجال (out-of-domain) لعدة أساليب ضمنية، حيث يرفع أداء النماذج الأساسية مثل Coconut بنسبة +8.2% على GPT-2، ويدعم CODI بنسبة +3.0% على LLaMA-3.1 8B. وبما يتمتع بقدرة عالية على التوسع، يتفوق SIM-CoT على النموذج الصريح (explicit CoT) بنسبة 2.1% على GPT-2 مع كفاءة في استخدام الرموز تزيد بنسبة 2.3 مرة، بينما يُقلّص بشكل كبير الفجوة في الأداء على النماذج الأكبر مثل LLaMA-3.1 8B.