تشير رموز الخلل إلى خلل في مخرجات نموذج لغوي كبير، كان من المفترض أن يُسهم في تشغيله بسلاسة. نشر فريق بحثي مشترك من جامعة هواتشونغ للعلوم والتكنولوجيا وجامعة نانيانغ التكنولوجية وجامعات أخرى دراسةً عام ٢٠٢٤. «رموز الخلل في نماذج اللغة الكبيرة»يشير هذا إلى وجود بعض الكلمات الخاطئة في النموذج الكبير، مما قد يتسبب في حدوث أخطاء أو تناقضات في نتائج مخرجات النموذج. توفر طريقة فريق البحث للكشف عن الرموز الخاطئة رؤى مفيدة للحد من الأخطاء المتعلقة بالرموز في النماذج الكبيرة. وفي بحثهم، وجدوا أن الكلمات الخاطئة لها تأثير تجميعي في مساحة التضمين، مما ألهمهم لاستخدام خوارزميات التجميع لاستكمال تحديد الكلمات الخاطئة.

قد يكون سبب إنشاء Glitch Token هو الأسباب التالية:

1. قضايا البيانات:قد تؤدي الأخطاء أو الضوضاء أو التناقضات في بيانات التدريب إلى تعلم النموذج لمعلومات غير صحيحة.
2. قضايا هندسة النموذجقد تؤدي العيوب أو القيود في بنية النموذج إلى إنشاء رموز الخلل.
3. الإفراط في التجهيز:يتناسب النموذج بشكل زائد مع بيانات التدريب، مما قد يؤدي إلى ضعف الأداء على البيانات الجديدة.
4. مشاكل عملية التدريب:على سبيل المثال، معدل التعلم غير المناسب، وعدد جولات التدريب، وما إلى ذلك.
5. مشكلة زيادة البيانات:قد تؤدي طرق زيادة البيانات غير المناسبة إلى حدوث أخطاء.
6. فشل أو خطأ في الأجهزة:قد تكون حدثت مشكلة في الأجهزة أثناء عملية الحساب.
7. خطأ في الخوارزمية:خطأ خوارزمي في تنفيذ النموذج.
8. مشاكل حجم النموذج:قد يؤثر حجم النموذج الكبير جدًا أو الصغير جدًا على الأداء.
9. انحراف توزيع البيانات:يختلف توزيع البيانات الفعلية عن توزيع بيانات التدريب.
10. عدم وجود بيانات تدريبية كافية:قد يؤدي إلى عدم كفاية التعلم النموذجي.