小説『ロード・オブ・ザ・リングス』のような長編物語を理解するためには、自然言語モデルがどのような能力を備えている必要があるだろうか。そのようなモデルは、以下の点を満たす必要がある。まず、(a) 物語の進行に従って登場人物（エンティティ）やその属性を識別し、記録する能力。次に、(b) 以前に登場した人物について、後続のテキスト中に出現する参照を識別し、それらの属性を更新する能力である。この「エンティティ追跡（entity tracking）」という問題は、言語理解の根幹をなすものであり、質問応答や要約といった自然言語処理（NLP）の多数の下流タスクにおいても極めて有用である。本論文では、エンティティ追跡モデルの実用化を促進する上で重要な2つの課題に焦点を当てる。第一に、長文ドキュメント（たとえば小説）にスケーラブルなエンティティ追跡モデルを適用する方法。第二に、エンティティ追跡機能を言語モデルに統合する戦略。近年、長文への言語技術の適用に注目が集まっているが、計算上の制約が、現在の手法を拡張する上での主要な障壁となっている。本論文では、事前に学習された言語モデルから得られる豊かな固定次元ベクトル表現を用いてエンティティを表現し、エンティティの一時性（ephemeral nature）を活用することで、計算効率の高いエンティティ追跡モデルを構築できると主張する。また、エンティティ追跡機能を言語モデルに統合することが重要であると提唱する。その理由は以下の2点に集約される。第一に、現在のNLPアプリケーションで広く採用されている事前学習済み言語モデルの普及を考慮すれば、統合によりより広範な応用が可能になる。第二に、独立したエンティティ追跡モデルを導入するよりも、新しい事前学習済み言語モデルを単に置き換える方がはるかに容易であるため、導入のハードルが低くなる。