神经机器翻译系统已成为语法错误修正（GEC）任务的最先进方法。在本文中，我们提出了一种用于GEC任务的复制增强架构，通过从源句复制未改变的单词到目标句来实现。由于GEC任务面临缺乏足够的标注训练数据以达到高精度的问题，我们使用未标注的一亿基准数据集对复制增强架构进行了预训练，并对完全预训练模型和部分预训练模型进行了对比实验。这是首次尝试从源上下文中复制单词并完全预训练序列到序列模型以应用于GEC任务。此外，我们在GEC任务中引入了词级和句级的多任务学习。在CoNLL-2014测试集上的评估结果显示，我们的方法大幅超越了所有最近发布的最先进结果。代码和预训练模型已发布在https://github.com/zhawe01/fairseq-gec。