HyperAIHyperAI

Command Palette

Search for a command to run...

Konsole
vor 4 Monaten

Sequenzgenerierung mit gemischten Darstellungen

{Lijun Wu Shufang Xie Yingce Xia Fan Yang Tao Qin Jianhuang Lai Tie-Yan Liu}

Abstract

Die Tokenisierung ist der erste Schritt vieler Aufgaben im Bereich des natürlichen Sprachverstehens (Natural Language Processing, NLP) und spielt eine zentrale Rolle für neuronale NLP-Modelle. Verfahren wie die Byte-Pair-Encoding-(BPE)-Tokenisierung, die die Vokabulargröße erheblich reduzieren und Out-of-Vocabulary-Wörter effektiv behandeln können, haben sich als wirksam erwiesen und werden weithin für Sequenzgenerierungsaufgaben eingesetzt. Obwohl verschiedene Tokenisierungsansätze existieren, gibt es keine allgemein anerkannte Bestform. In dieser Arbeit schlagen wir vor, gemischte Darstellungen aus unterschiedlichen Tokenisierungsmethoden für Sequenzgenerierungsaufgaben zu nutzen, um die Modellleistung durch die einzigartigen Eigenschaften und Vorteile der einzelnen Methoden zu steigern. Konkret führen wir eine neue Modellarchitektur ein, die gemischte Darstellungen integriert, sowie einen Co-Teaching-Algorithmus, um die Vielfalt verschiedener Tokenisierungsmethoden besser auszunutzen. Unser Ansatz erreicht signifikante Verbesserungen bei neuronalen Maschinenübersetzungs-Aufgaben an sechs Sprachpaaren (z. B. Englisch↔Deutsch, Englisch↔Rumänisch) sowie bei einer abstraktiven Zusammenfassungsaufgabe.

Code-Repositories

Benchmarks

BenchmarkMethodikMetriken
machine-translation-on-iwslt2014-englishMixedRepresentations
BLEU score: 29.93
machine-translation-on-iwslt2014-germanMixedRepresentations
BLEU score: 36.41

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Sequenzgenerierung mit gemischten Darstellungen | Forschungsarbeiten | HyperAI