Beto, Bentz, Becas: Die überraschende cross-linguale Effektivität von BERT

Vorabtrainierte kontextuelle Repräsentationsmodelle (Peters et al., 2018; Devlin et al., 2018) haben den Stand der Technik in vielen NLP-Aufgaben vorangebracht. Eine neue Version von BERT (Devlin, 2018) enthält ein Modell, das gleichzeitig auf 104 Sprachen vorabtrainiert wurde und beeindruckende Leistungen bei der Null-Shot-Cross-Lingual-Übertragung in einer natürlichsprachlichen Inferenzaufgabe erzielt hat. Diese Arbeit untersucht das umfassendere cross-linguale Potenzial von mBERT (multilingual) als Null-Shot-Sprachübertragungsmodell anhand von 5 NLP-Aufgaben, die insgesamt 39 Sprachen aus verschiedenen Sprachfamilien abdecken: NLI, Dokumentenklassifikation, NER, POS-Tagging und Abhängigkeitsanalyse. Wir vergleichen mBERT mit den besten veröffentlichten Methoden für die Null-Shot-Cross-Lingual-Übertragung und stellen fest, dass mBERT in jeder Aufgabe wettbewerbsfähig ist. Zudem untersuchen wir die effektivste Strategie zur Nutzung von mBERT in diesem Zusammenhang, bestimmen in welchem Umfang mBERT sich von sprachspezifischen Merkmalen abstrahieren kann und messen Faktoren, die die cross-linguale Übertragung beeinflussen.