言語表現のための知識強化型事前学習モデルは、BERTなどの言語モデルよりも、知識ベース構築タスク（関係抽出など）においてより効果的であることが示されています。これらの知識強化型言語モデルは、事前学習中に知識を組み込むことで、エンティティやリレーションシップの表現を生成します。しかし、既存の方法では通常、各エンティティを個別の埋め込みで表現しています。その結果、これらの方法は未知語のエンティティを表現するのが難しく、またトークンモデル（トランスフォーマーなど）に加えて大量のパラメータを使用しなければならず、実際にはメモリ制約により処理できるエンティティ数が限定されます。さらに、既存のモデルは依然としてエンティティとリレーションシップを同時に表現することが困難です。これらの問題に対処するため、我々はテキスト内のトークンスパンとスパンペアからそれぞれエンティティとリレーションシップの表現を学習する新しい事前学習モデルを提案します。スパンモジュールを使用して効率的にスパンを符号化することで、我々のモデルは両方のエンティティとそのリレーションシップを表現できますが、既存のモデルよりも少ないパラメータが必要です。我々はWikipediaから抽出した知識グラフを使用してこのモデルを事前学習し、監督ありおよび監督なし情報抽出タスクの広範な範囲でテストしました。結果は、我々のモデルが基準となる手法よりも両方のエンティティとリレーションシップについてより良い表現を学習できることを示しており、監督あり設定ではRoBERTaに対して一貫して優れた性能を発揮し、情報抽出タスクにおいて競争力のある結果を得ています。