HyperAIHyperAI

Command Palette

Search for a command to run...

Ein ressourcenschwacher Ansatz zur grammatischen Fehlerkorrektur des Ukrainischen

and Dan Roth Alla Rozovskaya Frank Palma Gomez

Zusammenfassung

Wir präsentieren unser System, das an der gemeinsamen Aufgabe zur grammatischen Fehlerkorrektur des Ukrainischen teilgenommen hat. Wir haben zwei Ansätze implementiert, die große vortrainierte Sprachmodelle und synthetische Daten nutzen, welche bereits für die Fehlerkorrektur von Englisch sowie für sprachlich unterversorgte Sprachen eingesetzt wurden. Der erste Ansatz basiert auf einer zweistufigen Feinabstimmung (fine-tuning) eines großen mehrsprachigen Sprachmodells (mT5): zunächst auf synthetischen Daten, anschließend auf Gold-Daten. Der zweite Ansatz trainiert ein kleineres seq2seq-Transformer-Modell, das zunächst auf synthetischen Daten vortrainiert und dann auf Gold-Daten feinabgestimmt wird. Unser mT5-basiertes Modell erreichte den ersten Platz im „GEC only“-Wettbewerb und einen sehr knappen zweiten Platz im „GEC+Fluency“-Wettbewerb. Unsere beiden zentralen Innovationen sind (1) das zweistufige Feinabstimmen, zunächst auf synthetischen, dann auf Gold-Daten; und (2) eine hochwertige Korruptionsmethode basierend auf dem Roundtrip-Maschinellen Übersetzen, die bestehende Noisification-Ansätze ergänzt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp