HyperAIHyperAI

Command Palette

Search for a command to run...

كسر سقف مجتمع النماذج اللغوية الكبيرة من خلال معالجة إنشاء الرموز كتصنيف للدمج

Yao-Ching Yu; Chun-Chih Kuo; Ziqi Ye; Yu-Cheng Chang; Yueh-Se Li

الملخص

تجميع النماذج المتعددة كان دائمًا نهجًا فعالًا لدفع حدود الأداء الحالي، ويُستخدم على نطاق واسع في مهام التصنيف من خلال متوسط متجهات احتمالات التصنيف من عدة تصنيفات لتحقيق دقة أفضل. ومع ذلك، في المجتمع المزدهر للنماذج اللغوية الكبيرة ذات المصدر المفتوح (LLM)، فإن طرق التجميع نادرة وغالبًا ما تقتصر على تجميع الإخراجات النصية الكاملة لهذه النماذج، مثل اختيار أفضل إخراج باستخدام مرتب، مما يؤدي إلى الاستخدام غير الكامل للمعلومات الاحتمالية على مستوى الرمز. في هذا البحث، نعالج عملية توليد كل رمز بواسطة النماذج اللغوية الكبيرة كمهمة تصنيف (GaC) للتجميع. يتيح هذا النهج استغلال المعلومات الاحتمالية بشكل كامل في كل خطوة من خطوات التوليد ويمنع بشكل أفضل ظهور أخطاء مبكرة في النماذج اللغوية الكبيرة التي قد تؤدي إلى أخطاء متراكمة. في التجارب، قمنا بتجميع نماذج LLM الأكثر تقدمًا حاليًا على عدة مقاييس، بما في ذلك الاختبارات والرياضيات والاستدلال، ولاحظنا أن طريقتنا تكسر سقف الأداء الحالي في المجتمع. بالإضافة إلى ذلك، لاحظنا أن معظم الرموز في الإجابة بسيطة ولا تؤثر على صحة الإجابة النهائية. لذلك، قمنا أيضًا بتجربة تجميع الرموز الرئيسية فقط، وأظهرت النتائج أداءً أفضل مع زمن استجابة أقل عبر جميع المقاييس.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp