HyperAIHyperAI

Command Palette

Search for a command to run...

MultiFiT: Effiziente Feinabstimmung von mehrsprachigen Sprachmodellen

Julian Martin Eisenschlos; Sebastian Ruder; Piotr Czapla; Marcin Kardas; Sylvain Gugger; Jeremy Howard

Zusammenfassung

Vorabtrainierte Sprachmodelle bieten besonders für ressourcenarme Sprachen vielversprechende Potenziale, da sie nur unannotierte Daten erfordern. Dennoch bedingt das Training bestehender Modelle enorme Rechenkapazitäten, während vorabtrainierte cross-linguale Modelle häufig bei ressourcenarmen Sprachen unter ihren Leistungsansprüchen bleiben. Wir schlagen Multi-lingual Language Model Fine-Tuning (MultiFiT) vor, um Praktikern die effiziente Anpassung und Weiterentwicklung von Sprachmodellen in ihrer eigenen Sprache zu ermöglichen. Darüber hinaus stellen wir eine zero-shot-Methode mithilfe eines bereits vorhandenen vorabtrainierten cross-lingualen Modells vor. Unsere Methoden wurden anhand zweier weit verbreiteter cross-lingualer Klassifikationsdatensätze evaluiert, wo sie Modelle übertrumpfen, die mit um Größenordnungen mehr Daten und Rechenkapazitäten vorabtrainiert wurden. Wir veröffentlichen alle Modelle und Code.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp