HyperAIHyperAI

Command Palette

Search for a command to run...

Ein einfaches Rezept für mehrsprachige grammatische Fehlerkorrektur

Sascha Rothe Jonathan Mallinson Eric Malmi Sebastian Krause Aliaksei Severyn

Zusammenfassung

Diese Arbeit präsentiert eine einfache Vorgehensweise zur Trainierung von hochleistungsfähigen mehrsprachigen Grammatikfehlerkorrektur-(GEC-)Modellen. Dazu schlagen wir zunächst eine sprachunabhängige Methode vor, um eine große Anzahl synthetischer Beispiele zu generieren. Als zweiten Schlüsselbestandteil nutzen wir großskalige mehrsprachige Sprachmodelle (bis zu 11 Milliarden Parameter). Nach einer Feinabstimmung auf sprachspezifische, überwachte Datensätze übertrifft unser Ansatz die bisher beste Leistung auf GEC-Benchmarks in vier Sprachen: Englisch, Tschechisch, Deutsch und Russisch. Nachdem wir eine neue Grundlage für GEC-Tests etabliert haben, machen wir unsere Ergebnisse leicht reproduzierbar und zugänglich, indem wir die cLang-8-Datenbank veröffentlichen. Diese wird durch die Reinigung der Zieltexte einer weit verbreiteten, jedoch rauschbehafteten Datensammlung (Lang-8) mit unserem besten Modell, das wir gT5 nennen, erstellt. Die cLang-8-Datenbank vereinfacht deutlich typische GEC-Trainingspipelines, die aus mehreren Feinabstimmungsschritten bestehen – wir zeigen, dass eine einzige Feinabstimmung auf cLang-8 mit standardmäßigen Sprachmodellen bereits eine zusätzliche Genauigkeitssteigerung gegenüber bereits hochperformanten gT5-Modellen für Englisch erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp