HyperAIHyperAI

Command Palette

Search for a command to run...

MAD-X: Ein adapterbasiertes Framework für mehraufgabenbasierten, mehrsprachigen Transfer

Jonas Pfeiffer Ivan Vulić Iryna Gurevych Sebastian Ruder

Zusammenfassung

Das Hauptziel hinter modernen vortrainierten mehrsprachigen Modellen wie multilingual BERT und XLM-R besteht darin, die Entwicklung und den Aufbau von NLP-Anwendungen für Sprachen mit geringen Ressourcen durch zero-shot- oder few-shot-Übersprachliche Übertragung zu ermöglichen. Aufgrund begrenzter Modellkapazität erzielen diese Modelle jedoch gerade bei solchen Sprachen mit geringen Ressourcen und Sprachen, die während des Vortrainings nicht vorkamen, die schwächsten Übertragungsergebnisse. Wir stellen MAD-X vor, einen adapterbasierten Rahmen, der eine hohe Portabilität und parameter-effiziente Übertragung auf beliebige Aufgaben und Sprachen ermöglicht, indem modulare Sprach- und Aufgabenrepräsentationen gelernt werden. Zudem führen wir eine neuartige invertierbare Adapterarchitektur sowie eine starke Basismethode zur Anpassung eines vortrainierten mehrsprachigen Modells an eine neue Sprache ein. MAD-X übertrifft den Stand der Technik bei der übersprachlichen Übertragung auf einer repräsentativen Auswahl typologisch vielfältiger Sprachen sowohl bei der Erkennung benannter Entitäten als auch bei der kausalen Alltagswissensbasierten Schlussfolgerung und erzielt konkurrenzfähige Ergebnisse bei der Fragebeantwortung. Unser Code und die Adapter sind unter AdapterHub.ml verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MAD-X: Ein adapterbasiertes Framework für mehraufgabenbasierten, mehrsprachigen Transfer | Paper | HyperAI