Anpassung tiefer bidirektionaler multilingualer Transformer für die russische Sprache

Das Papier stellt Methoden zur Anpassung von mehrsprachigen maschinellen Sprachmodellen an eine spezifische Sprache vor. Vorab trainierte bidirektionale Sprachmodelle erzielen den aktuellen Stand der Technik in einer Vielzahl von Aufgaben, darunter Leseverständnis, natürlichsprachliche Inferenz und Sentimentanalyse. Derzeit gibt es zwei alternative Ansätze, solche Modelle zu trainieren: ein- und mehrsprachig. Obwohl sprachspezifische Modelle überlegene Leistungen zeigen, ermöglichen mehrsprachige Modelle den Transfer von einer Sprache in eine andere und lösen Aufgaben für verschiedene Sprachen gleichzeitig. Diese Arbeit zeigt, dass das Transferlernen von einem mehrsprachigen Modell zu einem einssprachigen Modell zu einem erheblichen Leistungsanstieg bei Aufgaben wie Leseverständnis, Paraphrasenerkennung und Sentimentanalyse führt. Darüber hinaus reduziert die mehrsprachige Initialisierung eines einssprachigen Modells die Trainingszeit erheblich. Vorab trainierte Modelle für die russische Sprache sind als Open Source verfügbar.