노벨을 포함한 장편 소설, 예를 들어 『반지의 제왕』을 이해하기 위해 자연어 모델이 가져야 할 조건은 무엇일까? 그 중에서도 특히 모델은 다음 두 가지 기능을 가져야 한다. (a) 텍스트 내에서 새로운 인물(엔티티)과 그들의 특성들을 등장하는 순서에 따라 식별하고 기록해야 하며, (b) 이미 등장한 인물에 대한 이후의 언급을 식별하고 해당 인물의 특성을 업데이트해야 한다. 이러한 엔티티 추적(entity tracking) 문제는 자연어 이해에 필수적이며, 따라서 질의응답(question-answering), 요약(summarization) 등 자연어 처리(NLP) 분야의 다양한 후속 응용에 유용하다.본 논문에서는 엔티티 추적 모델의 활용을 촉진하기 위한 두 가지 핵심 문제에 초점을 맞춘다. 첫째, 장편 문서(예: 소설)와 같은 긴 텍스트에 대해 엔티티 추적 모델을 확장하는 문제이며, 둘째, 엔티티 추적 기능을 자연어 모델에 통합하는 문제이다. 최근 장문 문서에 자연어 기술을 적용하는 연구에 관심이 높아지고 있으나, 현재의 방법을 확장할 때 계산적 제약이 중요한 장벽이 되고 있다. 본 논문에서는, 미리 학습된 자연어 모델로부터 도출된 풍부하고 고정된 차원의 벡터 표현을 사용하여 엔티티를 표현하고, 엔티티의 일시적 특성(ephemeral nature)을 활용함으로써 계산 효율성이 높은 엔티티 추적 모델을 개발할 수 있다고 주장한다. 또한, 엔티티 추적 기능을 자연어 모델에 통합하는 것이 바람직하다고 주장한다. 그 이유는 다음과 같다. (i) 현재 자연어 처리 응용 분야에서 미리 학습된 자연어 모델이 널리 사용되고 있기 때문에, 통합을 통해 더 광범위한 적용이 가능해지며, (ii) 별도의 독립형 엔티티 추적 모델을 통합하는 것보다 새로운 미리 학습된 자연어 모델을 교체하는 것이 훨씬 쉬우므로, 도입이 용이하다.