Ein Mehrlagiges Faltungsencoder-Decoder-Neuronales Netzwerk für die Korrektur von Grammatikfehlern

Wir verbessern die automatische Korrektur von grammatikalischen, orthografischen und Kollokationsfehlern in Texten durch den Einsatz eines mehrschichtigen Faltungsencoder-Decoder-Neuralnetzes. Das Netzwerk wird mit Einbettungen initialisiert, die Informationen über Zeichen N-Gramme nutzen, um besser für diese Aufgabe geeignet zu sein. Bei der Auswertung auf gängigen Benchmark-Datensätzen (CoNLL-2014 und JFLEG) übertreffen unsere Modelle alle früheren neuronalen Ansätze sowie starke statistische maschinelle Übersetzungssysteme mit neuronalen und aufgabenspezifischen Merkmalen, die auf denselben Daten trainiert wurden. Unsere Analyse zeigt die Überlegenheit von Faltungsneuralnetzen gegenüber rekurrenten Neuralnetzen wie Long Short-Term Memory (LSTM)-Netzen bei der Erfassung des lokalen Kontexts durch Aufmerksamkeit, was die Abdeckung bei der Korrektur von grammatikalischen Fehlern verbessert. Durch das Ensemble mehrerer Modelle und die Integration eines N-Gramm-Sprachmodells sowie Editiermerkmale durch Rescoring wird unsere neuartige Methode das erste neuronale Verfahren, das den aktuellen Stand der Technik in Form statistischer maschineller Übersetzungsbasierten Ansätze sowohl hinsichtlich Grammatikalität als auch Flüssigkeit übertreffen kann.