MAD-X: Ein adapterbasiertes Framework für mehraufgabenbasierten, mehrsprachigen Transfer

Das Hauptziel hinter modernen vortrainierten mehrsprachigen Modellen wie multilingual BERT und XLM-R besteht darin, die Entwicklung und den Aufbau von NLP-Anwendungen für Sprachen mit geringen Ressourcen durch zero-shot- oder few-shot-Übersprachliche Übertragung zu ermöglichen. Aufgrund begrenzter Modellkapazität erzielen diese Modelle jedoch gerade bei solchen Sprachen mit geringen Ressourcen und Sprachen, die während des Vortrainings nicht vorkamen, die schwächsten Übertragungsergebnisse. Wir stellen MAD-X vor, einen adapterbasierten Rahmen, der eine hohe Portabilität und parameter-effiziente Übertragung auf beliebige Aufgaben und Sprachen ermöglicht, indem modulare Sprach- und Aufgabenrepräsentationen gelernt werden. Zudem führen wir eine neuartige invertierbare Adapterarchitektur sowie eine starke Basismethode zur Anpassung eines vortrainierten mehrsprachigen Modells an eine neue Sprache ein. MAD-X übertrifft den Stand der Technik bei der übersprachlichen Übertragung auf einer repräsentativen Auswahl typologisch vielfältiger Sprachen sowohl bei der Erkennung benannter Entitäten als auch bei der kausalen Alltagswissensbasierten Schlussfolgerung und erzielt konkurrenzfähige Ergebnisse bei der Fragebeantwortung. Unser Code und die Adapter sind unter AdapterHub.ml verfügbar.