HyperAIHyperAI

Command Palette

Search for a command to run...

رموز التشويش في النماذج اللغوية الكبيرة: تصنيف تصنيف وطرق فعالة للكشف عنها

Yuxi Li Yi Liu Gelei Deng Ying Zhang Wenjia Song et al

الملخص

مع التوسع المتزايد في تطبيق النماذج اللغوية الكبيرة (LLMs) في مجالات متنوعة، أصبح من الضروري إجراء دراسة شاملة لسلوكيات هذه النماذج غير المتوقعة والنتائج الناتجة عنها. في هذه الدراسة، نقدّم ونستكشف بشكل منهجي fenomenon "الرموز الشاذة" (glitch tokens)، وهي رموز غير طبيعية تُنتجها مُفكّكات الرموز (tokenizers) المُثبتة، وقد تؤدي إلى تدهور جودة استجابات النماذج. وبشكل خاص، قمنا بتجريب سبع نماذج لغوية كبرى شهيرة باستخدام ثلاث مُفكّكات رموز مختلفة، شملت تحليلًا لعدد إجمالي قدره 182,517 رمزًا. ونقدّم تصنيفات للرموز الشاذة التي تم اكتشافها، بالإضافة إلى الأعراض التي تُظهرها النماذج اللغوية الكبيرة عند التفاعل مع هذه الرموز. وبما أن ملاحظاتنا تشير إلى أن الرموز الشاذة تميل إلى التجمّع في فضاء التضمين (embedding space)، قمنا بتطوير تقنية جديدة تُسمى "GlitchHunter"، وهي تقنية قائمة على التجميع التكراري، للكشف الفعّال عن الرموز الشاذة. وأظهرت نتائج التقييم أن منهجيتنا تتفوّق بشكل ملحوظ على ثلاث طرق أساسية (baselines) في تحليل ثمانية نماذج لغوية مفتوحة المصدر. وبأفضل معرفتنا، فإن هذه الدراسة تمثّل أول دراسة شاملة مُتعمّقة حول الرموز الشاذة. كما تُقدّم طريقة الكشف الجديدة رؤى قيمة لتحسين التقليل من الأخطاء المرتبطة بعملية الترميز (tokenization) في النماذج اللغوية الكبيرة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
رموز التشويش في النماذج اللغوية الكبيرة: تصنيف تصنيف وطرق فعالة للكشف عنها | مستندات | HyperAI