تحسين تصحيح الأخطاء النحوية في النماذج التسلسلية إلى تسلسل من خلال تدخلات فك التشفير

تم استخدام نهج التسلسل إلى التسلسل (Seq2Seq) بشكل واسع مؤخرًا في تصحيح الأخطاء النحوية (GEC)، وأظهر أداءً واعدًا. ومع ذلك، ما زال النموذج القائم على نهج Seq2Seq في مهام تصحيح الأخطاء النحوية يعاني من مشكلتين رئيسيتين. أولاً، يمكن تدريب نموذج Seq2Seq فقط على بيانات متزامنة (parallel data)، والتي غالبًا ما تكون مشوهة ونادرة الكمية في سياق مهام GEC. ثانيًا، لا يمتلك مُفكّك (decoder) نموذج Seq2Seq وعيًا صريحًا بصحة الرمز (token) الذي يتم إنشاؤه. في هذا البحث، نقترح إطارًا موحدًا للتدخل أثناء التفكير (decoding intervention) يستخدم نموذجًا خارجيًا (critic) لتقييم مدى ملاءمة الرمز الذي يُفترض إنشاؤه بشكل تدريجي، ثم التأثير الديناميكي على اختيار الرمز التالي. وجدنا ودرسنا نوعين من النماذج الناقدة: نموذج لغوي مُدرّب مسبقًا من اليسار إلى اليمين، ونوع آخر من كاشف الأخطاء النحوية المُتدرج على الجانب المستهدف (target-side). من خلال تجارب واسعة على مجموعات بيانات باللغة الإنجليزية والصينية، أظهر إطارنا أداءً أفضل باستمرار مقارنةً بالأساليب القوية، وحقق نتائج تنافسية مع أحدث الطرق المتطورة.