HyperAIHyperAI

Command Palette

Search for a command to run...

Leichtgewichtige Adapter-Anpassung für mehrsprachige Sprachübersetzung

Hang Le Juan Pino Changhan Wang Jiatao Gu Didier Schwab Laurent Besacier

Zusammenfassung

Adapter-Module wurden kürzlich als effiziente Alternative zum Fine-Tuning in der natürlichen Sprachverarbeitung (NLP) vorgestellt. Beim Adapter-Tuning werden die vortrainierten Parameter eines Modells fixiert und leichtgewichtige Module zwischen die Schichten eingefügt, wodurch lediglich eine geringe Anzahl an auf die Aufgabe zugeschnittenen, trainierbaren Parametern hinzugefügt wird. Während das Adapter-Tuning bereits für mehrsprachige maschinelle Übersetzung untersucht wurde, präsentiert dieser Artikel eine umfassende Analyse von Adaptern für mehrsprachige Sprachübersetzung (Speech Translation, ST). Ausgehend von verschiedenen vortrainierten Modellen – entweder einem mehrsprachigen ST-Modell, das auf parallelen Daten trainiert wurde, oder einem mehrsprachigen BART (mBART), das auf nicht-parallelen, mehrsprachigen Daten vortrainiert wurde – zeigen wir, dass Adapter eingesetzt werden können, um: (a) die ST effizient auf spezifische Sprachpaare zu spezialisieren, wobei der zusätzliche Parameteraufwand gering bleibt, und (b) von einer Aufgabe der automatischen Spracherkennung (ASR) sowie einem auf mBART vortrainierten Modell auf eine mehrsprachige ST-Aufgabe zu transferieren. Experimente belegen, dass das Adapter-Tuning Ergebnisse erzielt, die mit dem vollständigen Fine-Tuning konkurrieren, gleichzeitig jedoch deutlich parameter-effizienter ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp