HyperAIHyperAI

Command Palette

Search for a command to run...

Ensembling und Knowledge Distilling großer Sequenz-Tagger für die grammatische Fehlerkorrektur

Maksym Tarnavskyi Artem Chernodub Kostiantyn Omelianchuk

Zusammenfassung

In diesem Paper untersuchen wir Verbesserungen der GEC-Sequenzmarkierungsarchitektur mit besonderem Fokus auf die Ensemble-Bildung moderner, state-of-the-art Transformer-basierter Encoder in großen Konfigurationen. Wir fördern die Ensemble-Bildung durch Mehrheitsentscheidungen auf der Ebene von Korrekturabschnitten (span-level edits), da dieser Ansatz robust gegenüber Unterschieden in der Modellarchitektur und der Vokabulargröße ist. Unser bestes Ensemble erreicht eine neue SOTA-Leistung mit einem F0.5F_{0.5}F0.5-Score von 76,05 auf BEA-2019 (Test), selbst ohne Vortrainings auf synthetischen Datensätzen. Zudem führen wir Knowledge Distillation mit einem trainierten Ensemble durch, um neue synthetische Trainingsdatensätze, „Troy-Blogs“ und „Troy-1BW“, zu generieren. Unser bestes einzelnes Sequenzmarkierungsmodell, das auf den generierten Troy-Datensätzen sowie dem öffentlich verfügbaren synthetischen PIE-Datensatz vortrainiert wurde, erreicht eine nahezu SOTA-Leistung (zum gegenwärtigen Wissensstand ist unser bestes Einzelmodell nur noch von deutlich größeren T5-Modellen mit einem F0.5F_{0.5}F0.5-Score von 73,21 auf BEA-2019 (Test) übertroffen). Der Quellcode, die Datensätze und die trainierten Modelle sind öffentlich verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Ensembling und Knowledge Distilling großer Sequenz-Tagger für die grammatische Fehlerkorrektur | Paper | HyperAI