استكشاف حدود نماذج اللغة

في هذا العمل، نستكشف التقدم الحديث في شبكات العصبونات المتكررة لنموذج اللغة على نطاق واسع، وهي مهمة أساسية لفهم اللغة. نوسع النماذج الحالية للتعامل مع تحديين رئيسيين موجودين في هذه المهمة: أحجام المكتبات اللغوية والقواميس، والهيكل المعقد للمدى الطويل للغة. نقوم بدراسة شاملة على تقنيات مثل شبكات العصبونات الشبكية القائمة على الحروف أو الذاكرة طويلة الأمد قصيرة الأمد (Long-Short Term Memory)، باستخدام معيار مليار كلمة. أفضل نموذج لدينا يحسن بشكل كبير من أحدث نسبة التحير (perplexity) من 51.3 إلى 30.0 (مع تقليل عدد المعلمات بمقدار عشرين ضعفًا)، بينما تحدد مجموعة من النماذج رقماً قياسياً جديداً بتحسين نسبة التحير من 41.0 إلى 23.7. كما نوفر هذه النماذج للمجتمع العلمي في معالجة اللغة الطبيعية والتعلم الآلي لدراستها وتحسينها.