要約
事前学習済みの文脈依存表現モデル（Petersら, 2018; Devlinら, 2018）は、多くの自然言語処理タスクにおいて最先端の成果をもたらしています。BERT（Devlin, 2018）の新しいリリースには、104言語で同時事前学習されたモデルが含まれており、ゼロショットクロスリンガル転移における自然言語推論タスクで優れた性能を示しています。本論文では、mBERT（多言語版）を5つのNLPタスクに適用し、39の異なる言語家族に属する言語についてゼロショットクロスリンガル転移モデルとしての広範な可能性を探ります。これらのタスクは、NLI（自然言語推論）、文書分類、固有表現抽出（NER）、品詞タグ付け（POS tagging）、および依存関係解析（dependency parsing）です。私たちはmBERTを既存の最良のゼロショットクロスリンガル転移手法と比較し、各タスクにおいてmBERTが競争力があることを確認しました。さらに、mBERTをこの方法で利用するための最も効果的な戦略を調査し、mBERTがどの程度言語特有の特徴から一般化できるかを検討し、クロスリンガル転移に影響を与える要因を測定しました。