Stärkere Baselines für die grammatische Fehlerkorrektur mithilfe vortrainierter Encoder-Decoder-Modelle

Studien zum grammatischen Fehlerkorrekturverfahren (GEC) haben die Wirksamkeit der Vortrainierung eines Seq2Seq-Modells mit einer großen Menge an Pseudodaten gezeigt. Allerdings erfordert dieser Ansatz aufgrund der Größe der Pseudodaten zeitaufwändiges Vortrainieren für GEC. In dieser Studie untersuchen wir die Nutzung bidirektionaler und autoregressiver Transformer (BART) als generisches vortrainiertes Encoder-Decoder-Modell für GEC. Durch den Einsatz dieses generischen vortrainierten Modells kann das zeitaufwändige Vortrainieren entfallen. Wir stellen fest, dass sowohl monolinguale als auch mehrsprachige BART-Modelle eine hohe Leistung in der GEC erzielen, wobei eine der Ergebnisse mit den aktuellen starken Ergebnissen im Bereich der englischen GEC vergleichbar ist. Unsere Implementierungen sind öffentlich auf GitHub verfügbar unter: https://github.com/Katsumata420/generic-pretrained-GEC.