基于预训练编码器-解码器模型的语法错误修正更强基线

关于语法错误修正（Grammatical Error Correction, GEC）的研究表明，使用大量伪数据对序列到序列（Seq2Seq）模型进行预训练能够有效提升性能。然而，由于伪数据规模庞大，这一方法在GEC任务中需要耗费大量时间进行预训练。在本研究中，我们探索了双向与自回归Transformer模型（BART）作为通用预训练编码器-解码器模型在GEC任务中的适用性。通过采用这种通用预训练模型，可有效避免耗时的预训练过程。实验结果表明，单语和多语种BART模型在GEC任务中均表现出色，其中一项结果已达到当前英语GEC领域先进水平。相关代码已公开发布于GitHub（https://github.com/Katsumata420/generic-pretrained-GEC）。