神経機械翻訳システムは、文法誤り訂正（GEC）タスクにおいて最先端のアプローチとなっています。本論文では、ソース文から変更のない単語をターゲット文にコピーする機能を追加したGEC用のコピー拡張アーキテクチャを提案します。GECは、高精度を達成するために十分なラベル付き訓練データが不足しているという問題を抱えています。そこで、当該アーキテクチャを未ラベルのOne Billion Benchmarkデータセットを使用してデノイジングオートエンコーダで事前学習し、完全に事前学習されたモデルと部分的に事前学習されたモデルとの比較を行いました。これは初めて、ソースコンテキストからの単語のコピーとシーケンス・ツー・シーケンスモデルの完全な事前学習がGECタスクで試みられたものです。さらに、トークンレベルと文レベルでのマルチタスク学習をGECタスクに導入しました。CoNLL-2014テストセットにおける評価結果は、当方の手法が最近公開された最先端の結果よりも大幅に優れていることを示しています。コードと事前学習済みモデルは、https://github.com/zhawe01/fairseq-gec で公開されています。