Ein einfaches Rezept für mehrsprachige grammatische Fehlerkorrektur

Diese Arbeit präsentiert eine einfache Vorgehensweise zur Trainierung von hochleistungsfähigen mehrsprachigen Grammatikfehlerkorrektur-(GEC-)Modellen. Dazu schlagen wir zunächst eine sprachunabhängige Methode vor, um eine große Anzahl synthetischer Beispiele zu generieren. Als zweiten Schlüsselbestandteil nutzen wir großskalige mehrsprachige Sprachmodelle (bis zu 11 Milliarden Parameter). Nach einer Feinabstimmung auf sprachspezifische, überwachte Datensätze übertrifft unser Ansatz die bisher beste Leistung auf GEC-Benchmarks in vier Sprachen: Englisch, Tschechisch, Deutsch und Russisch. Nachdem wir eine neue Grundlage für GEC-Tests etabliert haben, machen wir unsere Ergebnisse leicht reproduzierbar und zugänglich, indem wir die cLang-8-Datenbank veröffentlichen. Diese wird durch die Reinigung der Zieltexte einer weit verbreiteten, jedoch rauschbehafteten Datensammlung (Lang-8) mit unserem besten Modell, das wir gT5 nennen, erstellt. Die cLang-8-Datenbank vereinfacht deutlich typische GEC-Trainingspipelines, die aus mehreren Feinabstimmungsschritten bestehen – wir zeigen, dass eine einzige Feinabstimmung auf cLang-8 mit standardmäßigen Sprachmodellen bereits eine zusätzliche Genauigkeitssteigerung gegenüber bereits hochperformanten gT5-Modellen für Englisch erzielt.