HyperAIHyperAI

Command Palette

Search for a command to run...

Fehler zu machen ist menschlich, doch auch Llamas können es lernen.

Agnes Luhtaru Taido Purason Martin Vainikko Maksym Del Mark Fishel

Zusammenfassung

Diese Studie untersucht die Verbesserung der grammatischen Fehlerkorrektur (GEC) durch künstliche Fehlergenerierung (AEG) mittels Sprachmodellen (LMs). Konkret feinjustieren wir Llama-2-basierte LMs zur Fehlergenerierung und stellen fest, dass dieser Ansatz synthetische Fehler erzeugt, die menschlichen Fehlern ähneln. Anschließend trainieren wir GEC-Llama-Modelle mit Hilfe dieser künstlichen Fehler und erreichen eine Überlegenheit gegenüber vorherigen State-of-the-Art-Modellen der Fehlerkorrektur, wobei die Verbesserungen zwischen 0,8 und 6 F0,5-Punkten liegen, und zwar für alle getesteten Sprachen (Deutsch, Ukrainisch und Estnisch). Darüber hinaus zeigen wir, dass die Erzeugung von Fehlern durch Feinjustierung kleiner sequenz-zu-Sequenz-Modelle sowie durch Prompting großer kommerzieller LMs (GPT-3.5 und GPT-4) ebenfalls zu synthetischen Fehlern führt, die positiv auf die Leistung von Fehlergenerierungsmodellen wirken.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Fehler zu machen ist menschlich, doch auch Llamas können es lernen. | Paper | HyperAI