Detektion grammatischer Fehler mithilfe von fehler- und grammatischer Korrektheit spezifischer Wort-Embeddings

In dieser Studie verbessern wir die Erkennung grammatischer Fehler, indem wir Wortembeddings lernen, die sowohl die Grammatikalität als auch Fehlermuster berücksichtigen. Die meisten existierenden Algorithmen zur Lernung von Wortembeddings modellieren üblicherweise nur den syntaktischen Kontext von Wörtern, wodurch Klassifikatoren fehlerhafte und korrekte Wörter als ähnliche Eingaben behandeln. Wir adressieren das Problem der Kontextinformation, indem wir Lernfehler berücksichtigen. Konkret schlagen wir zwei Modelle vor: ein Modell, das grammatische Fehlermuster nutzt, und ein weiteres Modell, das die Grammatikalität des Zielfeldes berücksichtigt. Die Grammatikalität einer n-gramm-Sequenz wird anhand annotierter Fehlermarkierungen bestimmt, und grammatische Fehlermuster für die Wortembeddings werden aus großskaligen Lernerkorpora extrahiert. Experimentelle Ergebnisse zeigen, dass ein bidirektionaler Long-Short-Term-Memory-Modell, das mit unseren Wortembeddings initialisiert wurde, bei einer englischen grammatischen Fehlererkennungsaufgabe auf dem First Certificate in English-Datensatz eine state-of-the-art-Genauigkeit mit deutlichem Abstand erreichte.