ERNIE: 知識統合による表現の強化

私たちは、知識を組み込んだ新しい言語表現モデルであるERNIE（Enhanced Representation through kNowledge IntEgration）を提案します。BERTのマスキング戦略に着想を得て、ERNIEは知識マスキング戦略を用いて言語表現を強化することを目指して設計されています。この知識マスキング戦略には、エンティティレベルのマスキングとフレーズレベルのマスキングが含まれます。エンティティレベルの戦略では、通常複数の単語で構成されるエンティティをマスクします。フレーズレベルの戦略では、概念的な単位として一緒に並ぶ複数の単語からなる全体のフレーズをマスクします。実験結果は、ERNIEが他の基準手法よりも優れ、中国語自然言語処理における5つのタスク（自然言語推論、意味的類似性、固有表現認識、感情分析、質問応答）において新たな最先端の成果を達成していることを示しています。また、クローズテストにおいてもERNIEがより強力な知識推論能力を持つことが確認されました。