要約
事前学習言語モデル（Pre-trained Language Models, PLMs）は、大規模なコーパスで訓練された強力なテキスト表現により、様々な自然言語処理（Natural Language Processing, NLP）タスクで広く使用されています。本論文では、自然言語理解（Natural Language Understanding, NLU）向けの新しいPLMであるPERTを提案します。PERTは、BERTと同様の自己符号化モデルであり、Permuted Language Model (PerLM)を使用して訓練されます。提案するPerLMの定式化は単純です。入力テキストの一部をランダムに並べ替え、訓練目標は元のトークンの位置を予測することです。さらに、全体単語マスキングとN-グラムマスキングも適用し、PERTの性能向上を図りました。中国語と英語のNLUベンチマークに対して広範な実験を行いました。実験結果は、PERTがいくつかのタスクにおいて比較対象となるベースラインよりも改善をもたらす一方で、他のタスクではそうではないことを示しています。これらの結果は、マスク言語モデルのバリエーションだけでなく、より多様な事前学習タスクを開発することが可能であることを示唆しています。PERTについてより深く理解するためにいくつかの定量的な研究を行い、それらが将来のPLM設計に役立つ可能性があります。リソースは以下のURLから入手可能です: https://github.com/ymcui/PERT