Chenze Shao Darren Li Fandong Meng Jie Zhou

الملخص

تُحدَّد كفاءة النماذج اللغوية الكبيرة (LLMs) بشكل جوهري بعملية التوليد التسلسلية، التي تُولِّد فيها النماذج الحروف النصية (tokens) واحدة تلو الأخرى. ونُقدِّم رأياً يُشير إلى أن التغلب على هذا العائق يتطلب محور تصميم جديد لتوسيع النماذج اللغوية: زيادة عرض النطاق الدلالي لكل خطوة توليدية. ولتحقيق ذلك، نقدّم نموذجًا لغويًا تلقائيًا مستمرًا (CALM)، وهو تحوّل جوهري من التنبؤ بالحرف النصي التالي بشكل منفصل إلى التنبؤ بالمتجه التالي بشكل مستمر. يستخدم CALM مشغلًا تلقائيًا عالي الدقة لضغط مجموعة من K حرفًا نصيًا إلى متجه مستمر واحد، يمكن من خلاله إعادة بناء الحروف الأصلية بدقة تفوق 99.9%. هذا يمكّننا من تمثيل اللغة كسلسلة من المتجهات المستمرة بدلًا من الحروف النصية المنفصلة، مما يقلل عدد خطوات التوليد بنسبة تصل إلى K. ويستدعي هذا التحوّل المفاهيمي أداة نمذجة جديدة؛ ولذلك نطوّر إطارًا شاملاً لا يعتمد على الاحتمال (likelihood-free)، يُمكّن من التدريب القوي، والتقييم، والعينة القابلة للتحكم في الفضاء المستمر. تُظهر التجارب أن CALM يُحسّن بشكل كبير توازن الأداء مقابل التكلفة الحسابية، حيث يحقق أداءً يُعادل نماذج أساسية منفصلة قوية، ولكن بتكلفة حسابية أقل بكثير. والأهم من ذلك، أن هذه النتائج تُرسّخ التنبؤ بالمتجه التالي كمسار قوي وقابل للتوسع نحو نماذج لغوية فائقة الكفاءة. الكود: https://github.com/shaochenze/calm. المشروع: https://shaochenze.github.io/blog/2025/CALM.