Verbesserung der grammatischen Fehlerkorrektur in Seq2Seq durch Decoding-Interventionen

Der Ansatz der Sequenz-zu-Sequenz (Seq2Seq) wird in jüngster Zeit weithin in der grammatischen Fehlerkorrektur (GEC) eingesetzt und zeigt vielversprechende Leistung. Dennoch leidet der Seq2Seq-GEC-Ansatz weiterhin unter zwei Hauptproblemen. Erstens kann ein Seq2Seq-GEC-Modell nur an parallelen Daten trainiert werden, die im GEC-Anwendungsbereich oft verrauscht und quantitativ begrenzt sind. Zweitens verfügt der Dekoder eines Seq2Seq-GEC-Modells über keinen expliziten Bezug zur Richtigkeit des gerade generierten Tokens. In diesem Artikel stellen wir einen einheitlichen Dekodierungsinterventionsrahmen vor, der einen externen Kritiker nutzt, um die Angemessenheit des nächsten zu generierenden Tokens schrittweise zu bewerten und anschließend dynamisch die Auswahl des folgenden Tokens zu beeinflussen. Wir entdecken und untersuchen zwei Arten von Kritikern: einen vortrainierten links-nach-rechts-Sprachmodell-Kritiker sowie einen inkrementellen Grammatikfehlerdetektor auf der Ziel-Seite. Durch umfangreiche Experimente an englischen und chinesischen Datensätzen übertrifft unser Rahmen stets starke Baselines und erzielt Ergebnisse, die mit den besten aktuellen Methoden konkurrieren.