HyperAIHyperAI

Command Palette

Search for a command to run...

Stärkere Baselines für die grammatische Fehlerkorrektur mithilfe vortrainierter Encoder-Decoder-Modelle

Satoru Katsumata Mamoru Komachi

Zusammenfassung

Studien zum grammatischen Fehlerkorrekturverfahren (GEC) haben die Wirksamkeit der Vortrainierung eines Seq2Seq-Modells mit einer großen Menge an Pseudodaten gezeigt. Allerdings erfordert dieser Ansatz aufgrund der Größe der Pseudodaten zeitaufwändiges Vortrainieren für GEC. In dieser Studie untersuchen wir die Nutzung bidirektionaler und autoregressiver Transformer (BART) als generisches vortrainiertes Encoder-Decoder-Modell für GEC. Durch den Einsatz dieses generischen vortrainierten Modells kann das zeitaufwändige Vortrainieren entfallen. Wir stellen fest, dass sowohl monolinguale als auch mehrsprachige BART-Modelle eine hohe Leistung in der GEC erzielen, wobei eine der Ergebnisse mit den aktuellen starken Ergebnissen im Bereich der englischen GEC vergleichbar ist. Unsere Implementierungen sind öffentlich auf GitHub verfügbar unter: https://github.com/Katsumata420/generic-pretrained-GEC.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Stärkere Baselines für die grammatische Fehlerkorrektur mithilfe vortrainierter Encoder-Decoder-Modelle | Paper | HyperAI