ERNIE: 情報エンティティを用いた強化された言語表現

大規模なコーパスで事前学習されたBERTなどのニューラル言語表現モデルは、平文から豊かな意味パターンを効果的に捉えることができ、微調整することで様々な自然言語処理（NLP）タスクの性能を一貫して向上させることができます。しかし、既存の事前学習済み言語モデルは、豊かな構造化知識を提供し、より良い言語理解に寄与する知識グラフ（KGs）の組み込みをほとんど考慮していません。本稿では、KGs内の情報量のあるエンティティが外部知識によって言語表現を強化できると考えています。本研究では、大規模なテキストコーパスとKGsの両方を使用して、lexical（詞彙）、syntactic（文法的）、knowledge（知識）情報を同時に最大限に活用できる強化型言語表現モデルERNIEを開発しました。実験結果は、ERNIEが様々な知識駆動型タスクにおいて顕著な改善を達成していることを示しており、他の一般的なNLPタスクにおいても最先端のモデルBERTと同等の性能を発揮しています。本論文のソースコードはhttps://github.com/thunlp/ERNIEから入手できます。