MAD-X：マルチタスク跨言語転移のためのアダプタベースフレームワーク

最新の事前学習多言語モデル、たとえば多言語BERTやXLM-Rの主な目的は、ゼロショットまたは少数ショットの跨言語転移を活用して、リソースが乏しい言語における自然言語処理（NLP）アプリケーションの実現と促進を図ることにある。しかし、モデル容量の制限により、これらのモデルの転移性能は、事前学習時に見られなかったリソースが乏しい言語や言語において特に弱くなる傾向がある。本研究では、モジュール型の言語およびタスク表現を学習することにより、任意のタスクおよび言語への高い移植性とパラメータ効率的な転移を実現する、アダプターベースのフレームワーク「MAD-X」を提案する。さらに、新しい逆可換アダプター構造と、事前学習多言語モデルを新たな言語に適応するための強力なベースライン手法を導入した。MAD-Xは、語彙構造が多様な代表的な言語群において、固有表現認識（NER）および因果的共通認識推論というタスクで、既存の最先端技術を上回る性能を達成し、質問応答タスクにおいても競争力ある結果を示した。本研究のコードおよびアダプターは、AdapterHub.mlにて公開されている。