Encoder-Decoder-Modelle können von vortrainierten maskierten Sprachmodellen bei der Grammatikfehlerkorrektur profitieren

Diese Arbeit untersucht, wie ein vortrainiertes Masked-Language-Model (MLM), wie beispielsweise BERT, effektiv in ein Encoder-Decoder-(EncDec)-Modell für die Grammatikfehlerkorrektur (GEC) integriert werden kann. Die Antwort auf diese Frage ist nicht so einfach, wie man erwarten könnte, da die bisher üblichen Methoden zur Integration eines MLM in ein EncDec-Modell bei der Anwendung auf GEC potenzielle Nachteile aufweisen. Zum Beispiel unterscheidet sich die Verteilung der Eingaben eines GEC-Modells erheblich (fehlerhaft, ungeschickt usw.) von derjenigen der Korpora, auf denen die MLMs vortrainiert wurden; dieses Problem wird in den bisherigen Ansätzen jedoch nicht adressiert. Unsere Experimente zeigen, dass unsere vorgeschlagene Methode – bei der zunächst ein MLM mit einem gegebenen GEC-Korpus fine-tuned wird und anschließend die Ausgabe des fine-tuned MLM als zusätzliche Merkmale im GEC-Modell verwendet wird – das volle Potenzial des MLM ausschöpft. Das bestperformende Modell erreicht state-of-the-art-Ergebnisse auf den Benchmarks BEA-2019 und CoNLL-2014. Unser Code ist öffentlich verfügbar unter: https://github.com/kanekomasahiro/bert-gec.