Zayd M. K. Zuhri Erland Hilman Fuadi Alham Fikri Aji

الملخص

تم اقتراح التنبؤ بعدد متعدد من الرموز (MTP) كهدف مساعد لتحسين التنبؤ بالرمز التالي (NTP) أثناء تدريب النماذج اللغوية، لكنه أظهر تحسينات غير منتظمة، وتفوّق ضعيفًا في معايير تقييم الذكاء الاصطناعي اللغوي القياسية. نحن نرى أن مهمة التنبؤ الدقيق بالرموز المستقبلية في MTP تكون صعبة جدًا كخسارة مساعدة. بدلًا من ذلك، نقترح نموذج التنبؤ بترتيب الرموز (TOP)، الذي يدرّب النماذج على ترتيب الرموز القادمة حسب قربها باستخدام خسارة تعلم الترتيب (learning-to-rank loss). يُعدّ TOP أقل تكلفة من MTP، حيث يتطلب إضافة طبقة واحدة فقط من طبقات "الإلغاء التمثيلي" (unembedding)، مقارنةً بعدة طبقات من نماذج الترانسفورمر التي يتطلبها MTP. قمنا بتدريب نماذج بحجم 340 مليون، و1.8 مليار، و7 مليار معلمة باستخدام الأهداف الثلاثة: NTP وMTP وTOP. أظهرت النتائج على ثمانية معايير قياسية في مجال معالجة اللغة الطبيعية أن TOP يتفوّق بشكل عام على كل من NTP وMTP، حتى عند التوسع في الحجم. يمكن الاطلاع على الكود المصدري عبر الرابط التالي: https://github.com/zaydzuhri/token-order-prediction