التكامل النظامي من خلال التقدير الجودي لتصحيح الأخطاء النحوية

تم تطوير نماذج تقييم الجودة لتقييم التصويبات التي تقوم بها نماذج تصحيح الأخطاء النحوية (GEC) عند عدم توفر التصويبات المرجعية أو القياسية (gold-standard). ويمكن استخدام مُقدِّر جودة مثالي لدمج مخرجات أنظمة GEC المتعددة من خلال اختيار أفضل مجموعة من التصويبات من الاتحاد لجميع التصويبات المقترحة من قبل أنظمة GEC الأساسية. ومع ذلك، وجدنا أن نماذج تقييم جودة GEC الحالية ليست كافية في التمييز بين التصويبات الجيدة والسيئة، مما يؤدي إلى تحقيق درجات منخفضة في مقياس F0.5 عند استخدامها في دمج الأنظمة. في هذا البحث، نقترح نموذج GRECO، وهو نموذج مُقدِّر جودة متطور يُقدِّم تقديرًا أكثر دقة لجودة الجملة المُصحَّحة، كما يُظهر ذلك من خلال ارتباطه الأعلى مع مقياس F0.5 للجملة المصححة. ويؤدي هذا إلى نظام GEC مدمج يتمتع بدرجة F0.5 أعلى. كما نقترح ثلاث طرق لاستخدام نماذج تقييم جودة GEC في دمج الأنظمة، بمستويات مختلفة من العمومية: طريقة عامة للنماذج (model-agnostic)، وطريقة عامة للنماذج مع تحيز تصويت (model-agnostic with voting bias)، وطريقة تعتمد على النموذج (model-dependent). ويتفوّق النظام المدمج على أحدث الأنظمة على مجموعة اختبار CoNLL-2014 ومجموعة اختبار BEA-2019، ويحقق أعلى درجات F0.5 منشورة حتى الآن.