中国語自然言語処理のための事前学習モデルの再検討

Transformersによる双方向エンコーダ表現（BERT）は、さまざまな自然言語処理タスクにおいて著しい改善を示しており、その後、事前学習言語モデルの性能向上を目指して多くの変種が提案されています。本論文では、中国語の事前学習言語モデルを見直し、非英語系言語におけるその有効性を検証することを目的とし、中国語の事前学習言語モデルシリーズをコミュニティに公開します。また、RoBERTaを改良した単純ながら効果的なモデルであるMacBERTも提案します。特にマスキング戦略においてMLM（Masked Language Model）を訂正として採用しています（Mac）。私たちは8つの中国語自然言語処理タスクで広範な実験を行い、既存の事前学習言語モデルおよび提案されたMacBERTを見直しました。実験結果は、MacBERTが多くの自然言語処理タスクで最先端の性能を達成できることを示しており、さらにいくつかの発見を通じて詳細な解析を行っており、これらの知見は今後の研究に役立つ可能性があります。リソース：https://github.com/ymcui/MacBERT