Parallele iterative Edit-Modelle für lokale Sequenztransduktion

Wir stellen ein Parallel Iterative Edit (PIE)-Modell für das Problem der lokalen Sequenztransduktion vor, das beispielsweise bei der Grammatikfehlerkorrektur (GEC) auftritt. Moderne Ansätze basieren auf dem weit verbreiteten Encoder-Decoder (ED)-Modell für Sequenz-zu-Sequenz-Lernen. Das ED-Modell erfasst auto-regressiv die vollständige Abhängigkeit zwischen Ausgabetoken, ist jedoch aufgrund der sequenziellen Dekodierung langsam. Das PIE-Modell ermöglicht eine parallele Dekodierung und verzichtet damit auf den Vorteil der Modellierung vollständiger Abhängigkeiten in der Ausgabe. Dennoch erreicht es eine Genauigkeit, die mit der des ED-Modells konkurrieren kann, aus vier Gründen: 1. Vorhersage von Edit-Operationen anstelle von Token, 2. Etikettierung von Sequenzen anstelle der Generierung von Sequenzen, 3. Iterative Verbesserung der Vorhersagen zur Erfassung von Abhängigkeiten und 4. Faktorisierung der Logits über Edit-Operationen und deren Token-Argumente, um vortrainierte Sprachmodelle wie BERT effizient zu nutzen. Experimente auf Aufgaben, die GEC, OCR-Korrektur und Rechtschreibkorrektur umfassen, zeigen, dass das PIE-Modell eine genaue und deutlich schnellere Alternative für die lokale Sequenztransduktion darstellt.