جزئيًا ترتيب بيانات التدريب لتحسين نماذج اللغة

رغم أن خوارزمية التدرج العكسي العشوائي (SGD) تتطلب ترتيب البيانات التدريبية بشكل عشوائي بين الدورات، إلا أنه في الوقت الحالي لا تقوم أي من أنظمة النمذجة اللغوية على مستوى الكلمات بذلك. ترتيب جميع الجمل في البيانات التدريبية بشكل عشوائي بطرق بسيطة لن يسمح للنموذج بتعلم الارتباطات بين الجمل. في هذا البحث، نقدم طريقة تقوم بتوزيع جزئي للبيانات التدريبية بين الدورات. هذه الطريقة تجعل كل دفعة عشوائية مع الحفاظ على معظم ترتيب الجمل. وقد حققت هذه الطريقة نتائج جديدة رائدة في النمذجة اللغوية على مستوى الكلمات لكل من مجموعتي بيانات بنك الأشجار بن وويكيتEXT-2.