يستخدم BERT نموذج التدريب المسبق للغة المقنعة (MLM) وهو أحد أكثر نماذج التدريب المسبق نجاحًا. ومع ذلك، فإن BERT يتجاهل الارتباط بين الرموز المتوقعة، لذا قدم XLNet نموذج التدريب المسبق للغة المقسّمة (PLM) لحل هذه المشكلة. ولكن، XLNet لا يستفيد من المعلومات الكاملة للمواقع في الجملة وبالتالي يعاني من اختلاف الموقع بين التدريب المسبق والتدريب الدقيق. في هذا البحث، نقترح MPNet، وهي طريقة تدريب مسبقة جديدة تستفيد من مزايا BERT وXLNet وتتجنب حدودهما. يستخدم MPNet الارتباط بين الرموز المتوقعة من خلال نموذج اللغة المقسّمة (مقابل MLM في BERT)، ويأخذ المعلومات الإضافية للموقع كمدخلات ليتمكن النموذج من رؤية الجملة الكاملة وبالتالي تقليل الاختلاف في الموقع (مقابل PLM في XLNet). قمنا بتدريب MPNet بشكل مسبق على مجموعة بيانات كبيرة الحجم (أكثر من 160 جيجابايت من النصوص)، ثم أجرينا التدريب الدقيق على مجموعة متنوعة من المهام الثانوية (مثل GLUE وSQuAD). تظهر النتائج التجريبية أن MPNet يتفوق على MLM وPLM بمدى كبير، ويحقق نتائج أفضل在这类 المهام مقارنة بالطرق السابقة الأكثر تقدمًا للتدريب المسبق (مثل BERT وXLNet وRoBERTa) تحت نفس إعدادات النموذج. يمكن الوصول إلى الكود والنماذج المدربة مسبقًا عبر الرابط: https://github.com/microsoft/MPNet.