نموذج اللغة

نمذجة اللغة هي مهمة توقع الكلمة أو الحرف التالي في وثيقة، ويمكن تطبيق النماذج اللغوية المدربة على مهام معالجة اللغة الطبيعية المختلفة مثل إنشاء النصوص، تصنيف النصوص، وإجابة الأسئلة. منذ عقد 2010، تم استبدال نماذج N-gram بالنماذج اللغوية العصبية، وبعد عقد 2020، أصبحت النماذج اللغوية الكبيرة (LLMs) الطريق الوحيد لتحقيق أداء رائد. يتم تقييم قدرات هذه النماذج باستخدام مقاييس مثل الت�� المتقاطع والحيرة، ومن بين المجموعات الشائعة للبيانات WikiText-103، One Billion Word، Text8، C4، وThe Pile.