الاتصال المباشر للنموذج اللغوي ذي الرتبة العالية

يقترح هذا البحث نموذج لغة متقدم يستند إلى الشبكة العصبية التكرارية (RNN) يجمع بين التوزيعات الاحتمالية المحسوبة ليس فقط من الطبقة النهائية للشبكة العصبية التكرارية ولكن أيضًا من الطبقات الوسطى. تزيد طريقة البحث المقترحة من قوة التعبير للنموذج اللغوي بناءً على تفسير عامل المصفوفة للنمذجة اللغوية الذي قدمه يانغ وآخرون (2018). تحسن الطريقة المقترحة النموذج اللغوي الأكثر تقدماً حالياً وتحقق أفضل درجة في مجموعتي بيانات المعايير القياسية "بن تريبانك" و"ويكيتEXT-2". بالإضافة إلى ذلك، نشير إلى أن طريقة البحث المقترحة تسهم في مهمتين تطبيقيتين: الترجمة الآلية وإنشاء العناوين. الرمز البرمجي الخاص بنا متاح بشكل عام على الرابط التالي: https://github.com/nttcslab-nlp/doc_lm.