HyperAIHyperAI

Command Palette

Search for a command to run...

متى يتم التجميع: تحديد نقاط على مستوى الرموز لتمكين التجميع الفعّال والسريع للنماذج اللغوية الكبيرة

Heecheol Yun Kwangmin Ki Junghyun Lee Eunho Yang

الملخص

أصبح تجميع نماذج اللغة الكبيرة (LLMs) موضوعًا مُلهمًا يُعد من الطرق الواعدة لتجاوز أداء النماذج الفردية من خلال الاستفادة من قوتها المكملة. وتحديدًا، أُظهرت فعالية تجميع توزيعات احتمالات النموذج للرقم التالي (next-token) لاختيار الرمز التالي في مهام متعددة. ومع ذلك، رغم نجاح هذه الطريقة في الإجابات القصيرة، فإن تطبيقها على إنشاء النصوص الطويلة ما زال مجالًا غير مُستكشَفٍ بشكل كافٍ. في هذا البحث، نُبيّن أن استخدام أساليب التجميع الحالية في إنشاء النصوص الطويلة يتطلب اختيارًا دقيقًا لمواقع التجميع، نظرًا لأن الممارسة القياسية المتمثلة في التجميع عند كل رمز غالبًا ما تُضعف الأداء. ونُحدِّد عاملين رئيسيين لتحديد هذه المواقع: عدم توافق التجزئة (tokenization mismatch) بين النماذج، ووجود اتفاق (consensus) في توزيعات احتمالات الرموز التالية. استنادًا إلى هذا، نُقدِّم SAFE (Stable And Fast LLM Ensembling)، وهي إطار عمل يُجري التجميع بشكل انتقائي من خلال أخذ هذين العاملين بعين الاعتبار معًا. ولتعزيز الاستقرار، نُقدِّم استراتيجية تَحْدِيد الاحتمالات (probability sharpening) التي تُجمِّع الاحتمالات المُتَفَرِّقة عبر عدة رموز فرعية تمثل نفس الكلمة في رمز ممثِّل واحد. وتوحي تجاربنا على مجموعات معايير متنوعة، بما في ذلك MATH500 وBBH، بأن SAFE تتفوَّق على الطرق الحالية من حيث الدقة والكفاءة، مع تحقيق مكاسب حتى عند تطبيق التجميع على أقل من 1% من الرموز.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp