自然言語理解タスク、特にオープンドメインの質問応答では、複数の情報源から事実情報を検索・統合する必要があることが多い。本研究では、大規模なテキストコーパスを半パラメトリックな表現としてTransformerモデルに統合することで、この課題に取り組む手法を提案する。具体的には、コーパス内のすべてのエンティティ表記（mention）を密なベクトル表現で表した「メンションメモリ」と呼ばれるテーブルを用いて知識を表現する。提案するモデルTOMEは、入力テキスト中の各エンティティ表記がメンションメモリにアクセスする内部メモリ層を持つTransformerモデルであり、複数の異なる情報源から得られる知識を単一のTransformerモデル内で統合し、推論を可能にする。1億5000万件のWikipediaのエンティティ表記を含むメモリを用いた実験では、TOMEは、HoVerおよびFEVERといった主張検証ベンチマーク、および複数のエンティティベースのQAベンチマークにおいて優れた性能を達成した。また、直接的な教師信号なしに、モデルが情報を得やすいエンティティ表記に注目する能力を学習していることも示した。さらに、再訓練を伴わず、メモリの更新によって未観測の新しいエンティティに対しても一般化できることが実証された。