LM-Critic: Sprachmodelle für die überwachungsfreie grammatische Fehlerkorrektur

Die Schulung eines Modells für grammatische Fehlerkorrektur (GEC) erfordert ein Set an annotierten Paaren ungrammatischer/grammatischer Sätze, wobei die manuelle Annotation solcher Paare jedoch kostspielig sein kann. Kürzlich hat der Break-It-Fix-It (BIFI)-Ansatz starke Ergebnisse bei der Reparatur von fehlerhaften Programmen ohne jegliche gelabelten Beispiele gezeigt, setzt jedoch auf einen perfekten Kritiker (z. B. einen Compiler), der angibt, ob ein Beispiel gültig ist – eine Voraussetzung, die für die GEC-Aufgabe nicht existiert. In dieser Arbeit zeigen wir, wie man ein vortrainiertes Sprachmodell (LM) nutzen kann, um einen LM-Kritiker zu definieren, der eine Aussage dann als grammatikalisch bewertet, wenn das LM ihr eine höhere Wahrscheinlichkeit zuweist als ihren lokalen Störungen. Wir kombinieren diesen LM-Kritiker mit dem BIFI-Verfahren und einer großen Menge unlabeled Sätze, um realistische Paare ungrammatischer/grammatischer Sätze zur Schulung eines Korrekturmodells zu bootstrappen. Wir evaluieren unseren Ansatz an GEC-Datensätzen aus mehreren Domänen (CoNLL-2014, BEA-2019, GMEG-wiki und GMEG-yahoo) und zeigen, dass er sowohl im unsupervised- als auch im supervised-Setting gegenüber bestehenden Methoden übertrifft (＋7,7 F0,5 im unsupervised-Setting und ＋0,5 F0,5 im supervised-Setting).