Command Palette
Search for a command to run...
Verbesserung der grammatischen Fehlerkorrektur in Seq2Seq durch Decoding-Interventionen
Verbesserung der grammatischen Fehlerkorrektur in Seq2Seq durch Decoding-Interventionen
Houquan Zhou Yumeng Liu Zhenghua Li Min Zhang Bo Zhang Chen Li Ji Zhang Fei Huang
Zusammenfassung
Der Ansatz der Sequenz-zu-Sequenz (Seq2Seq) wird in jüngster Zeit weithin in der grammatischen Fehlerkorrektur (GEC) eingesetzt und zeigt vielversprechende Leistung. Dennoch leidet der Seq2Seq-GEC-Ansatz weiterhin unter zwei Hauptproblemen. Erstens kann ein Seq2Seq-GEC-Modell nur an parallelen Daten trainiert werden, die im GEC-Anwendungsbereich oft verrauscht und quantitativ begrenzt sind. Zweitens verfügt der Dekoder eines Seq2Seq-GEC-Modells über keinen expliziten Bezug zur Richtigkeit des gerade generierten Tokens. In diesem Artikel stellen wir einen einheitlichen Dekodierungsinterventionsrahmen vor, der einen externen Kritiker nutzt, um die Angemessenheit des nächsten zu generierenden Tokens schrittweise zu bewerten und anschließend dynamisch die Auswahl des folgenden Tokens zu beeinflussen. Wir entdecken und untersuchen zwei Arten von Kritikern: einen vortrainierten links-nach-rechts-Sprachmodell-Kritiker sowie einen inkrementellen Grammatikfehlerdetektor auf der Ziel-Seite. Durch umfangreiche Experimente an englischen und chinesischen Datensätzen übertrifft unser Rahmen stets starke Baselines und erzielt Ergebnisse, die mit den besten aktuellen Methoden konkurrieren.