要約
Transformersによる双方向エンコーダ表現（BERT）は、様々な自然言語処理タスクにおいて著しい改善を示しており、その連続的な変種が提案され、事前学習言語モデルの性能向上に寄与しています。本論文では、まず中国語版BERTに対する全体単語マスキング（wwm）戦略を紹介し、一連の中国語事前学習言語モデルについても述べます。さらに、RoBERTaを改良したシンプルかつ効果的なモデルであるMacBERTを提案します。特に、新しいマスキング戦略としてMLM as correction (Mac)を提案します。これらのモデルの有効性を示すために、BERT、RoBERTa、ELECTRA、RBTなどの一連の中国語事前学習言語モデルを基線として作成しました。10つの中国語NLPタスクに対して広範な実験を行い、作成した中国語事前学習言語モデルおよび提案されたMacBERTの評価を行いました。実験結果は、MacBERTが多くのNLPタスクで最先端の性能を達成できることを示しており、また将来の研究に役立つ可能性のあるいくつかの知見とともに詳細な解析を行っています。私たちはオープンソースで事前学習言語モデルを公開し、研究コミュニティへの貢献を目指しています。リソースは以下のURLから入手可能です: https://github.com/ymcui/Chinese-BERT-wwm