LERT: نموذج لغوي مُدرب مسبقاً مدفوع بلغويات

لقد أصبحت النماذج اللغوية المدربة مسبقًا (PLM) نموذجًا أساسيًا ممثلًا في مجال معالجة اللغة الطبيعية. يتم تدريب معظم هذه النماذج باستخدام مهام التدريب المسبق التي لا تعتمد على خصائص اللغة، مثل نموذج اللغة المقنّع (MLM)، على الشكل السطحي للنص. لتعزيز قدرات النماذج اللغوية المدربة مسبقًا بمزيد من الخصائص اللغوية الغنية، يهدف هذا البحث إلى اقتراح طريقة بسيطة ولكن فعالة لتعلم الخصائص اللغوية لهذه النماذج. نقترح استخدام LERT، وهو نموذج لغوي مدرب مسبقًا يتم تدريبه على ثلاثة أنواع من الخصائص اللغوية بالإضافة إلى مهمة التدريب المسبق الأصلية لنموذج اللغة المقنّع (MLM)، باستخدام استراتيجية التدريب المسبق المعتمدة على المعلومات اللغوية (LIP). أجرينا تجارب واسعة النطاق على عشرة مهام فهم اللغة الطبيعية باللغة الصينية، وأظهرت نتائج هذه التجارب أن LERT يمكن أن يحقق تحسينات كبيرة مقارنة بعدة خطوط أساسية مشابهة. علاوة على ذلك، أجرينا أيضًا تجارب تحليلية في جوانب لغوية مختلفة، وقد أثبتت النتائج صلاحية تصميم LERT وفعاليته. يمكن الحصول على المصادر من الرابط: https://github.com/ymcui/LERT