HyperAIHyperAI

Command Palette

Search for a command to run...

BigTranslate: Erweiterung von Large Language Models um mehrsprachige Übersetzungsfähigkeiten für über 100 Sprachen

Wen Yang Chong Li Jiajun Zhang Chengqing Zong

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen vielversprechende Übersetzungsleistung bei verschiedenen natürlichen Sprachen. Dennoch sind viele LLMs, insbesondere die quelloffenen, wie BLOOM und LLaMA, stark englischdominiert und unterstützen lediglich Dutzende natürlicher Sprachen, wodurch das Potenzial von LLMs für die Sprachübersetzung bisher nur unzureichend erschlossen wurde. In dieser Arbeit präsentieren wir BigTranslate, ein Modell, das LLaMA – ein Modell mit ursprünglich nur 20 Sprachunterstützungen – erweitert und mit multilingualer Übersetzungsfähigkeit für über 100 Sprachen ausstattet. BigTranslate basiert auf LLaMA-13B und wird in drei Schritten optimiert: Erstens führen wir die Weitertrainierung von LLaMA mit umfangreichen monolingualen Chinesisch-Daten durch. Zweitens trainieren wir das Modell weiterhin mit einem großskaligen Paralleldatensatz, der 102 natürliche Sprachen abdeckt. Drittens instruieren wir das Grundmodell mit multilingualen Übersetzungsanweisungen, was zu unserem BigTranslate-Modell führt. Erste Experimente zur multilingualen Übersetzung zeigen, dass BigTranslate in vielen Sprachen vergleichbare Leistung wie ChatGPT und Google Translate erzielt und in acht Sprachpaaren sogar ChatGPT übertrifft. Wir stellen das BigTranslate-Modell öffentlich zur Verfügung und hoffen, damit den Forschungsfortschritt in diesem Bereich voranzutreiben.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
BigTranslate: Erweiterung von Large Language Models um mehrsprachige Übersetzungsfähigkeiten für über 100 Sprachen | Paper | HyperAI