HyperAIHyperAI

Command Palette

Search for a command to run...

LM-Critic: Sprachmodelle für die überwachungsfreie grammatische Fehlerkorrektur

Michihiro Yasunaga Jure Leskovec Percy Liang

Zusammenfassung

Die Schulung eines Modells für grammatische Fehlerkorrektur (GEC) erfordert ein Set an annotierten Paaren ungrammatischer/grammatischer Sätze, wobei die manuelle Annotation solcher Paare jedoch kostspielig sein kann. Kürzlich hat der Break-It-Fix-It (BIFI)-Ansatz starke Ergebnisse bei der Reparatur von fehlerhaften Programmen ohne jegliche gelabelten Beispiele gezeigt, setzt jedoch auf einen perfekten Kritiker (z. B. einen Compiler), der angibt, ob ein Beispiel gültig ist – eine Voraussetzung, die für die GEC-Aufgabe nicht existiert. In dieser Arbeit zeigen wir, wie man ein vortrainiertes Sprachmodell (LM) nutzen kann, um einen LM-Kritiker zu definieren, der eine Aussage dann als grammatikalisch bewertet, wenn das LM ihr eine höhere Wahrscheinlichkeit zuweist als ihren lokalen Störungen. Wir kombinieren diesen LM-Kritiker mit dem BIFI-Verfahren und einer großen Menge unlabeled Sätze, um realistische Paare ungrammatischer/grammatischer Sätze zur Schulung eines Korrekturmodells zu bootstrappen. Wir evaluieren unseren Ansatz an GEC-Datensätzen aus mehreren Domänen (CoNLL-2014, BEA-2019, GMEG-wiki und GMEG-yahoo) und zeigen, dass er sowohl im unsupervised- als auch im supervised-Setting gegenüber bestehenden Methoden übertrifft (+7,7 F0,5 im unsupervised-Setting und +0,5 F0,5 im supervised-Setting).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp