GPT-3.5 لتصحيح الأخطاء النحوية

تُجري هذه الورقة دراسة حول تطبيق نموذج GPT-3.5 في تصحيح الأخطاء النحوية (GEC) في لغات متعددة ضمن عدة بيئات: تصحيح الأخطاء بدون تدريب مسبق (zero-shot GEC)، وتحسين النموذج التدريبي لتصحيح الأخطاء (fine-tuning for GEC)، واستخدام GPT-3.5 لتصنيف إعادة الترتيب (re-ranking) للفرضيات النحوية التي تُولَّد بواسطة نماذج GEC أخرى. وفي البيئة بدون تدريب مسبق، نُجري تقييمات آلية للتصحيحات المقترحة من قبل GPT-3.5 باستخدام عدة طرق: تقدير القواعد النحوية باستخدام نماذج اللغة (LMs)، واختبار Scribendi، ومقارنة التضمينات الدلالية للجمل. يُعرف أن GPT-3.5 يميل إلى التصحيح الزائد للجمل الخاطئة واقتراح تصحيحات بديلة. بالنسبة لعدة لغات، مثل التشيكية، والألمانية، والروسية، والإسبانية، والأوكرانية، يُجري GPT-3.5 تغييرات كبيرة في الجمل المصدرية، بما في ذلك معانيها الدلالية، مما يُشكل تحديات جسيمة في التقييم باستخدام مقاييس تعتمد على المراجع. أما بالنسبة للغة الإنجليزية، فإن GPT-3.5 يُظهر دقة عالية في الكشف عن الأخطاء (high recall)، ويُولِّد تصحيحات سلسة، ويحافظ عادةً على دلالة الجملة الأصلية. ومع ذلك، فإن التقييم البشري للغتين الإنجليزية والروسية يُظهر أن، على الرغم من قدراته القوية في كشف الأخطاء، يواجه GPT-3.5 صعوبات في التعامل مع أنواع معينة من الأخطاء، بما في ذلك الأخطاء النحوية في علامات الترقيم، وأخطاء الزمن (tense errors)، والاعتماد النحوي بين الكلمات، والتوافق اللفظي على مستوى الجملة.