
摘要
错误类型信息已被广泛用于提升语法错误修正(GEC)模型的性能,无论是在生成修正结果、对修正结果进行重排序,还是在融合多个GEC模型时。通过结合在不同错误类型修正上具有互补优势的GEC模型,能够显著提升修正质量。然而,系统融合方法由于需要先对基础模型进行推理,再执行融合策略,因此带来了较高的计算开销。因此,若能构建一个单一模型,其内部包含多个专注于不同错误类型修正的子网络,将更具效率。本文提出一种面向语法错误修正的专家混合模型(Mixture-of-Experts for Grammatical Error Correction, MoECE)。该模型在仅使用T5-XL模型约三分之一有效参数的情况下,实现了相当的性能表现。此外,该模型在推理过程中还能同时识别错误类型,从而生成具有可解释性的修正结果。