Yuxi Li Yi Liu Gelei Deng Ying Zhang Wenjia Song et al

الملخص

مع التوسع المتزايد في تطبيق النماذج اللغوية الكبيرة (LLMs) في مجالات متنوعة، أصبح من الضروري إجراء دراسة شاملة لسلوكيات هذه النماذج غير المتوقعة والنتائج الناتجة عنها. في هذه الدراسة، نقدّم ونستكشف بشكل منهجي fenomenon "الرموز الشاذة" (glitch tokens)، وهي رموز غير طبيعية تُنتجها مُفكّكات الرموز (tokenizers) المُثبتة، وقد تؤدي إلى تدهور جودة استجابات النماذج. وبشكل خاص، قمنا بتجريب سبع نماذج لغوية كبرى شهيرة باستخدام ثلاث مُفكّكات رموز مختلفة، شملت تحليلًا لعدد إجمالي قدره 182,517 رمزًا. ونقدّم تصنيفات للرموز الشاذة التي تم اكتشافها، بالإضافة إلى الأعراض التي تُظهرها النماذج اللغوية الكبيرة عند التفاعل مع هذه الرموز. وبما أن ملاحظاتنا تشير إلى أن الرموز الشاذة تميل إلى التجمّع في فضاء التضمين (embedding space)، قمنا بتطوير تقنية جديدة تُسمى "GlitchHunter"، وهي تقنية قائمة على التجميع التكراري، للكشف الفعّال عن الرموز الشاذة. وأظهرت نتائج التقييم أن منهجيتنا تتفوّق بشكل ملحوظ على ثلاث طرق أساسية (baselines) في تحليل ثمانية نماذج لغوية مفتوحة المصدر. وبأفضل معرفتنا، فإن هذه الدراسة تمثّل أول دراسة شاملة مُتعمّقة حول الرموز الشاذة. كما تُقدّم طريقة الكشف الجديدة رؤى قيمة لتحسين التقليل من الأخطاء المرتبطة بعملية الترميز (tokenization) في النماذج اللغوية الكبيرة.