أساسيات أقوى لتصحيح الأخطاء النحوية باستخدام نموذج مشفر-فكّار مُدرّب مسبقًا

أظهرت الدراسات المتعلقة بتصحيح الأخطاء النحوية (GEC) فعالية تدريب نموذج Seq2Seq مسبقًا باستخدام كميات كبيرة من البيانات الاصطناعية (pseudodata). ومع ذلك، يتطلب هذا النهج تدريبًا مسبقًا مطولًا نظرًا لحجم البيانات الاصطناعية. في هذه الدراسة، نستكشف فائدة النماذج الثنائية الاتجاه والمتسلسلة (BART) التي تعتمد على معمارية المحولات ثنائية الاتجاه والمتسلسلة كنموذج مُدرَّب مسبقًا عام للنماذج Encoder-Decoder في مهام تصحيح الأخطاء النحوية. وباستخدام هذا النموذج المُدرَّب مسبقًا العام لـ GEC، يمكن التخلص من الحاجة إلى التدريب المسبق المطول. ونجد أن نماذج BART أحادية اللغة ومتعددة اللغات تحقق أداءً عاليًا في مهام GEC، حيث يُظهر أحد النتائج أداءً يُقارن بأفضل النتائج الحالية في تصحيح الأخطاء النحوية باللغة الإنجليزية. تم إتاحة تنفيذنا بشكل عام على GitHub (https://github.com/Katsumata420/generic-pretrained-GEC).