Leichtgewichtige Adapter-Anpassung für mehrsprachige Sprachübersetzung

Adapter-Module wurden kürzlich als effiziente Alternative zum Fine-Tuning in der natürlichen Sprachverarbeitung (NLP) vorgestellt. Beim Adapter-Tuning werden die vortrainierten Parameter eines Modells fixiert und leichtgewichtige Module zwischen die Schichten eingefügt, wodurch lediglich eine geringe Anzahl an auf die Aufgabe zugeschnittenen, trainierbaren Parametern hinzugefügt wird. Während das Adapter-Tuning bereits für mehrsprachige maschinelle Übersetzung untersucht wurde, präsentiert dieser Artikel eine umfassende Analyse von Adaptern für mehrsprachige Sprachübersetzung (Speech Translation, ST). Ausgehend von verschiedenen vortrainierten Modellen – entweder einem mehrsprachigen ST-Modell, das auf parallelen Daten trainiert wurde, oder einem mehrsprachigen BART (mBART), das auf nicht-parallelen, mehrsprachigen Daten vortrainiert wurde – zeigen wir, dass Adapter eingesetzt werden können, um: (a) die ST effizient auf spezifische Sprachpaare zu spezialisieren, wobei der zusätzliche Parameteraufwand gering bleibt, und (b) von einer Aufgabe der automatischen Spracherkennung (ASR) sowie einem auf mBART vortrainierten Modell auf eine mehrsprachige ST-Aufgabe zu transferieren. Experimente belegen, dass das Adapter-Tuning Ergebnisse erzielt, die mit dem vollständigen Fine-Tuning konkurrieren, gleichzeitig jedoch deutlich parameter-effizienter ist.