11 天前

基于质量评估的语法错误纠正系统融合

Muhammad Reza Qorib, Hwee Tou Ng
基于质量评估的语法错误纠正系统融合
摘要

质量估计模型已被开发用于评估语法错误纠正(GEC)模型在缺乏参考标准(即“黄金标准”)纠正结果时所作出的修正效果。理想的质量估计器能够通过从多个GEC系统所提出的所有修正项的并集中选择最优的修正子集,实现对多个GEC系统输出的融合。然而,我们发现现有GEC质量估计模型在区分优质修正与劣质修正方面表现不佳,导致在系统融合任务中F0.5得分较低。本文提出GRECO——一种新的前沿质量估计模型,其能够更准确地评估修正后句子的质量,表现为与修正句的F0.5得分具有更高的相关性。该模型显著提升了融合后GEC系统的F0.5得分。此外,本文还提出了三种适用于GEC质量估计模型进行系统融合的方法,涵盖不同通用性层级:模型无关型、带投票偏差的模型无关型,以及模型依赖型方法。融合后的GEC系统在CoNLL-2014测试集和BEA-2019测试集上均超越现有最先进水平,取得了迄今为止发表的最高F0.5得分。

基于质量评估的语法错误纠正系统融合 | 最新论文 | HyperAI超神经