تم استخدام نماذج اللغة المدربة مسبقًا (PLMs) على نطاق واسع في مهام مختلفة لمعالجة اللغة الطبيعية (NLP)، بفضل تمثيلاتها النصية القوية التي تم تدريبها على مجموعات بيانات كبيرة. في هذا البحث، نقترح نموذجًا جديدًا مدربًا مسبقًا يُسمى PERT لمهمة فهم اللغة الطبيعية (NLU). يعتبر PERT نموذج ترميز ذاتي (مثل BERT) يتم تدريبه باستخدام نموذج اللغة المبادل (PerLM). صياغة PerLM المقترح بسيطة. نقوم بتبديل نسبة من النص الإدخالي، والهدف من التدريب هو التنبؤ بموقع القيمة الأصلية. بالإضافة إلى ذلك، قمنا أيضًا بتطبيق تقنيات إخفاء الكلمات الكاملة وإخفاء الجموع النحوية N-gram لتحسين أداء PERT. أجرينا تجارب شاملة على مقاييس فهم اللغة الطبيعية باللغتين الصينية والإنجليزية. تظهر نتائج التجارب أن PERT يمكن أن يحقق تحسينات على مجموعة متنوعة من الخطوط الأساسية المقارنة في بعض المهام، بينما لا يكون الأمر كذلك في مهام أخرى. هذه النتائج تشير إلى إمكانية تطوير مهام تدريب أولي أكثر تنوعًا بدلاً من متغيرات نموذج اللغة المخفية. تم إجراء عدة دراسات كمية لفهم PERT بشكل أفضل، مما قد يساعد في تصميم نماذج اللغة المدربة مسبقًا في المستقبل. يمكن الوصول إلى المصادر من خلال الرابط التالي: https://github.com/ymcui/PERT