エンドツーエンド型エンティティリンクシステムの典型的なアーキテクチャは、メンション検出、候補エンティティ生成、およびエンティティの曖昧性解消という3段階から構成される。本研究では以下の問いに着目する：(a) コンテキストに依存するテキスト表現モデル（すなわちBERT；Devlinら、2019）を用いて、これらのすべてのステップを一括して学習可能かどうか？(b) 事前学習済みBERTに既にどの程度のエンティティ知識が含まれているか？(c) 追加のエンティティ知識は、下流タスクにおけるBERTの性能向上に寄与するか？そのために、我々はエンティティリンクの設定を極めて簡略化した手法を提案する。この手法は、エンティティ語彙全体（本研究では70万以上）を対象としたトークンごとの分類問題として定式化するものである。エンティティリンクのベンチマーク上での実験から、(i) 本モデルは単純なBERTよりも優れたエンティティ表現を学習できること、(ii) それぞれのタスクを別々に最適化する従来のエンティティリンクアーキテクチャを上回ること、(iii) 今現在の最先端技術（メンション検出とエンティティの曖昧性解消を同時に最適化する手法）に次いで性能が優れていることを示した。さらに、GLUEテキスト理解ベンチマーク、質問応答ベンチマークSQUAD V2およびSWAG、およびEN-DE WMT14機械翻訳ベンチマークにおいて、エンティティに敏感なトークン表現の有効性を検証した。驚いたことに、これらの多くは追加のエンティティ知識によって恩恵を受けることがなかったが、トレーニングデータが極めて少ないタスク、すなわちGLUEのRTEタスクのみが2%の性能向上を達成した。