HyperAIHyperAI

Command Palette

Search for a command to run...

Nicht-autoregressive Übersetzung durch Lernen von Zielkategorischen Codes

Yu Bao Shujian Huang Tong Xiao Dongqi Wang Xinyu Dai Jiajun Chen

Zusammenfassung

Der nicht-autoregressive Transformer ist ein vielversprechendes Modell für die Textgenerierung. Allerdings liegen die derzeitigen nicht-autoregressiven Modelle in Bezug auf die Übersetzungsqualität noch hinter ihren autoregressiven Pendants zurück. Wir weisen diese Genauigkeitslücke auf das Fehlen einer Modellierung von Abhängigkeiten zwischen den Eingaben des Decoders zurück. In diesem Artikel stellen wir CNAT vor, das implizit kategoriale Codes als latente Variablen in den nicht-autoregressiven Dekodierungsprozess integriert. Die Wechselwirkungen zwischen diesen kategorialen Codes beheben die fehlenden Abhängigkeiten und erhöhen die Modellkapazität. Experimentelle Ergebnisse zeigen, dass unser Modell im Vergleich zu mehreren starken Baselines gleichwertige oder sogar bessere Leistung in Aufgaben der maschinellen Übersetzung erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp