Neuronale Qualitätsabschätzung der grammatikalischen Fehlerkorrektur

Grammatikalische Fehlerkorrektur-Systeme (GEC), die in Sprachlernumgebungen eingesetzt werden, sollen Fehler in den Texten von Lernenden präzise korrigieren. In der Praxis erzeugen sie jedoch häufig irreführende Korrekturen und lassen viele Fehler unkorrigiert, was zu Verwirrung bei den Lernenden führen kann. Dies erfordert die Schätzung der Qualität der von GEC-Systemen generierten Ausgabetexte, damit Lehrkräfte gezielt eingreifen und Texte nachkorrigieren können, die vom System schlecht korrigiert wurden, um sicherzustellen, dass die Lernenden präzise Rückmeldungen erhalten. Wir stellen den ersten neuronalen Ansatz zur automatischen Qualitätsabschätzung von GEC-Ausgabetexten vor, der keine handgefertigten Merkmale verwendet. Unser System wird auf der Grundlage von Lernertexten und den entsprechenden Ausgaben des GEC-Systems unter Verwendung menschlich annotierter Referenzen in einem überwachten Lernverfahren trainiert, wobei die Qualitätsbewertungen anhand der Referenzen berechnet werden. Unsere neuronalen Qualitätsabschätzungsmodule für GEC zeigen signifikante Verbesserungen gegenüber einer starken, merkmalsbasierten Baseline. Zudem zeigen wir, dass ein state-of-the-art-GEC-System durch die Verwendung von Qualitätsbewertungen als Merkmale zur Neurangierung der N-best-Kandidaten weiter verbessert werden kann.