LUKE：エンティティに注意を向ける自己注意機構を用いた深層文脈適応型エンティティ表現

エンティティ表現は、エンティティを含む自然言語処理タスクにおいて有用である。本論文では、双方向トランスフォーマーに基づく新しい事前学習済みの文脈依存的表現（contextualized representations）を、単語およびエンティティの両方について提案する。提案モデルは、与えられたテキスト内の単語とエンティティを独立したトークンとして扱い、それらの文脈依存的表現を出力する。本モデルは、BERTのマスクされた言語モデルに基づく新しい事前学習タスクを用いて訓練される。このタスクでは、Wikipediaから収集した大規模なエンティティ注釈付きコーパスにおいて、ランダムにマスクされた単語およびエンティティを予測することを目的とする。また、トランスフォーマーの自己注意機構（self-attention mechanism）を拡張したエンティティに配慮した自己注意機構を提案し、注意スコアの計算時にトークンの種類（単語またはエンティティ）を考慮する。提案モデルは、幅広いエンティティ関連タスクにおいて顕著な実験的性能を達成した。特に、Open Entity（エンティティタイプ推定）、TACRED（関係分類）、CoNLL-2003（固有表現抽出）、ReCoRD（クローズ形式の質問応答）、SQuAD 1.1（抽出型質問応答）の5つの代表的なデータセットにおいて、最先端の結果を達成した。本研究のソースコードおよび事前学習済み表現は、https://github.com/studio-ousia/luke にて公開されている。