HyperAIHyperAI

Command Palette

Search for a command to run...

Parallele iterative Edit-Modelle für lokale Sequenztransduktion

Abhijeet Awasthi Sunita Sarawagi Rasna Goyal Sabyasachi Ghosh Vihari Piratla

Zusammenfassung

Wir stellen ein Parallel Iterative Edit (PIE)-Modell für das Problem der lokalen Sequenztransduktion vor, das beispielsweise bei der Grammatikfehlerkorrektur (GEC) auftritt. Moderne Ansätze basieren auf dem weit verbreiteten Encoder-Decoder (ED)-Modell für Sequenz-zu-Sequenz-Lernen. Das ED-Modell erfasst auto-regressiv die vollständige Abhängigkeit zwischen Ausgabetoken, ist jedoch aufgrund der sequenziellen Dekodierung langsam. Das PIE-Modell ermöglicht eine parallele Dekodierung und verzichtet damit auf den Vorteil der Modellierung vollständiger Abhängigkeiten in der Ausgabe. Dennoch erreicht es eine Genauigkeit, die mit der des ED-Modells konkurrieren kann, aus vier Gründen: 1. Vorhersage von Edit-Operationen anstelle von Token, 2. Etikettierung von Sequenzen anstelle der Generierung von Sequenzen, 3. Iterative Verbesserung der Vorhersagen zur Erfassung von Abhängigkeiten und 4. Faktorisierung der Logits über Edit-Operationen und deren Token-Argumente, um vortrainierte Sprachmodelle wie BERT effizient zu nutzen. Experimente auf Aufgaben, die GEC, OCR-Korrektur und Rechtschreibkorrektur umfassen, zeigen, dass das PIE-Modell eine genaue und deutlich schnellere Alternative für die lokale Sequenztransduktion darstellt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp