تُجري هذه الورقة دراسة حول كيفية دمج نموذج لغة مُقنّن مُسَدَّس (MLM)، مثل BERT، بشكل فعّال في نموذج مشفر-مُفكّك (EncDec) لتصحيح الأخطاء النحوية (GEC). إن إجابة هذا السؤال ليست بسيطة كما قد يبدو للوهلة الأولى، وذلك لأن الطرق الشائعة السابقة لدمج نموذج MLM في نموذج EncDec تمتلك عيوبًا محتملة عند تطبيقها على مهام تصحيح الأخطاء النحوية. على سبيل المثال، قد تختلف توزيعات المدخلات الخاصة بنموذج GEC بشكل كبير (بسبب الأخطاء، أو التعبيرات غير المنسقة، إلخ) عن توزيعات البيانات المستخدمة في تدريب نماذج MLM مُقنّنة مسبقًا؛ ومع ذلك، فإن هذه المشكلة لم تُؤخذ بعين الاعتبار في الطرق السابقة. تُظهر تجاربنا أن الطريقة المقترحة، التي تتضمن أولاً تدريبًا دقيقًا (fine-tuning) لنموذج MLM باستخدام مجموعة بيانات GEC معينة، ثم استخدام مخرجات النموذج المدرب بدقة كمُدخلات إضافية في نموذج GEC، تُمكّن من استغلال أقصى فائدة من نموذج MLM. ويُحقق أفضل نموذج مُطبّق أداءً يُعدّ من أفضل الأداء على معايير BEA-2019 وCoNLL-2014. يُمكن الوصول إلى الكود الخاص بنا بشكل عام عبر الرابط التالي: https://github.com/kanekomasahiro/bert-gec.