تحليل نماذج اللغة العصبية على مقياس متعدد

العديد من الطرق الرائدة في نمذجة اللغة تقدم هياكل جديدة ومعقدة ومخصصة. نحن نأخذ النماذج اللغوية الحالية على مستوى الكلمات التي تعتمد على LSTM و QRNN ونوسعها لتشمل مفردات أكبر وكذلك دقة على مستوى الحروف. عند ضبطها بشكل صحيح، تحقق LSTM و QRNN نتائج رائدة في مجال النماذج على مستوى الحروف (بنك الأشجار بنين، enwik8) وعلى مستوى الكلمات (WikiText-103)، على التوالي. يتم الحصول على هذه النتائج خلال 12 ساعة فقط (WikiText-103) إلى يومين (enwik8) باستخدام معالج رسومي حديث واحد.