Zwischenaufgaben-Training – das Feinjustieren eines vortrainierten Modells an einer Zwischenaufgabe, bevor es erneut am Zielobjekt feinjustiert wird – verbessert oft erheblich die Leistung von Modellen bei Sprachverstehensaufgaben in einheitlich englischen Einstellungen. Wir untersuchen, ob das englische Zwischenaufgaben-Training auch bei nicht-englischen Zielobjekten hilfreich ist. Unter Verwendung von neun Zwischenaufgaben des Sprachverstehens evaluieren wir den Transfer der Zwischenaufgaben in einem zero-shot kreuzsprachlichen Szenario am XTREME-Benchmark. Wir beobachten große Verbesserungen durch das Zwischenaufgaben-Training bei den Satzrucksucheaufgaben BUCC und Tatoeba sowie moderate Verbesserungen bei den Fragebeantwortsungsaufgaben als Zielobjekten. MNLI, SQuAD und HellaSwag erzielen insgesamt die besten Ergebnisse als Zwischenaufgaben, während das mehrfache Zwischenaufgaben-Training nur geringe zusätzliche Verbesserungen bietet. Mit unseren besten Modellen für jede Zielaufgabe erreichen wir eine Steigerung um 5,4 Punkte im Vergleich zu XLM-R Large am XTREME-Benchmark und setzen damit den Stand der Technik zum Zeitpunkt Juni 2020. Wir untersuchen zudem die Fortsetzung des mehrsprachigen Masked Language Modeling (MLM) während des Zwischenaufgaben-Trainings sowie die Nutzung maschinell übersetzter Daten für die Zwischenaufgaben, jedoch übertrifft keines dieser Verfahren konsistent einfach das englische Zwischenaufgaben-Training.请注意，这里有一些术语的翻译：- Intermediate-task training: Zwischenaufgaben-Training- Fine-tuning: Feinjustieren / Feinjustierung- Pretrained model: vortrainiertes Modell- Language understanding tasks: Sprachverstehensaufgaben- Monolingual English settings: einheitlich englische Einstellungen- Zero-shot cross-lingual setting: zero-shot kreuzsprachliches Szenario- Benchmark: Benchmark (im Kontext der Technologie oft unübersetzt gelassen)- Sentence retrieval tasks: Satzrucksucheaufgaben- Question-answering target tasks: Fragebeantwortsungsaufgaben als Zielobjekte- MNLI (Multi-genre Natural Language Inference): MNLI (oft unübersetzt gelassen)- SQuAD (Stanford Question Answering Dataset): SQuAD (oft unübersetzt gelassen)- HellaSwag: HellaSwag (Name bleibt unverändert)- Multilingual MLM (Masked Language Modeling): mehrsprachiges Masked Language Modeling (MLM)希望这些术语的翻译对您有帮助。如果您有任何疑问，请随时告诉我。