Neuronale Maschinenübersetzungssysteme sind zu Standardansätzen für die Aufgabe der grammatischen Fehlerkorrektur (GEC) geworden. In dieser Arbeit schlagen wir eine kopierverstärkte Architektur für die GEC-Aufgabe vor, bei der unveränderte Wörter aus dem Quellsatz in den Zielsatz kopiert werden. Da die GEC-Aufgabe darunter leidet, dass nicht genügend beschriftete Trainingsdaten zur Verfügung stehen, um hohe Genauigkeit zu erreichen, pretrainieren wir die kopierverstärkte Architektur mit einem Denoising Auto-Encoder unter Verwendung des unbewerteten One Billion Benchmark-Datensatzes und führen Vergleiche zwischen dem vollständig pretrainierten Modell und einem teilweise pretrainierten Modell durch. Es ist das erste Mal, dass das Kopieren von Wörtern aus dem Quellkontext und das vollständige Pretraining eines Sequenz-zu-Sequenz-Modells auf der GEC-Aufgabe getestet wird. Darüber hinaus fügen wir tokenbasiertes und satzbasiertes Multi-Task-Lernen zur GEC-Aufgabe hinzu. Die Evaluationsresultate auf dem CoNLL-2014 Testset zeigen, dass unser Ansatz alle kürzlich veröffentlichten state-of-the-art Ergebnisse deutlich übertrifft. Der Code und die pretrainierten Modelle sind unter https://github.com/zhawe01/fairseq-gec verfügbar.