FILTER: Eine verbesserte Fusionsmethode für die mehrsprachige Sprachverstehens

Großskalige mehrsprachige Sprachmodelle (LM), wie mBERT, Unicoder und XLM, haben bei der mehrsprachigen Repräsentationslernung erhebliche Erfolge erzielt. Bei der Anwendung auf zero-shot mehrsprachige Übertragungsaufgaben nutzen jedoch die meisten bestehenden Ansätze lediglich Eingabedaten in einer einzigen Sprache für das Fine-Tuning des LM und berücksichtigen dabei nicht die inhärente mehrsprachige Ausrichtung zwischen verschiedenen Sprachen, die für multilinguale Aufgaben entscheidend ist. In diesem Artikel stellen wir FILTER vor, eine verbesserte Fusionsmethode, die mehrsprachige Daten als Eingabe für das Fine-Tuning von XLM nutzt. Konkret kodiert FILTER zunächst den Text in der Quellsprache und seine Übersetzung in der Zielsprache unabhängig voneinander in den oberflächlichen Schichten, führt dann eine mehrsprachige Fusion in den mittleren Schichten zur Extraktion multilinguistischer Kenntnisse durch und führt anschließend eine zusätzliche sprachspezifische Kodierung durch. Während der Inferenz basiert das Modell seine Vorhersagen auf dem Text in der Zielsprache sowie seiner Übersetzung in der Quellsprache. Bei einfachen Aufgaben wie Klassifikation teilen übersetzte Texte in der Zielsprache dieselbe Etikettierung wie die Quellsprache. Für komplexere Aufgaben wie Fragenbeantwortung, NER (Named Entity Recognition) oder POS-Tagging wird diese gemeinsame Etikettierung jedoch weniger genau oder gar nicht mehr verfügbar. Um dieses Problem anzugehen, schlagen wir zusätzlich eine zusätzliche KL-Divergenz-Selbstunterrichtsverlustfunktion vor, die auf automatisch generierten weichen Pseudolabels für die übersetzten Texte in der Zielsprache basiert. Umfangreiche Experimente zeigen, dass FILTER auf zwei herausfordernden multilingualen Multi-Task-Benchmarks, XTREME und XGLUE, neue SOTA-Ergebnisse erzielt.