要約
事前学習言語モデル（PLM）は、自然言語処理分野における代表的な基盤モデルとなっています。多くのPLMは、マスクされた言語モデル（MLM）などのテキストの表面形式に基づく言語に依存しない事前学習タスクで訓練されています。本論文では、PLMに豊富な言語的特徴をさらに付与するため、単純ながら効果的な方法を提案することを目指しています。私たちはLERTという事前学習言語モデルを提案します。LERTは、元のMLM事前学習タスクとともに3種類の言語的特徴を対象として、言語情報に基づいた事前学習（LIP）戦略を使用して訓練されます。私たちは10つの中国語NLUタスクに対して広範な実験を行いました。実験結果は、LERTがさまざまな比較基準に対して有意な改善をもたらすことを示しています。さらに、私たちは様々な言語的側面での分析実験も行い、その結果はLERTの設計が有効であることを証明しています。リソースは以下のURLから入手可能です: https://github.com/ymcui/LERT