提及记忆：通过实体提及注意力将文本知识融入Transformer

自然语言理解任务（如开放域问答）通常需要从多个信息源中检索并整合事实性知识。为解决这一问题，我们提出将大规模文本语料库的半参数化表示引入Transformer模型，作为事实知识的来源。具体而言，我们的方法采用“提及记忆”（mention memory）来表示知识，即构建一个稠密向量表示的表格，其中包含语料库中所有实体提及的向量表示。所提出的模型——TOME，是一种通过内部记忆层访问该知识的Transformer架构，其中输入文本中的每个实体提及都会关注“提及记忆”中的对应条目。该方法使得单一Transformer模型能够融合并推理来自多个异构信息源的知识。在实验中，当使用包含1.5亿个维基百科提及的内存时，TOME在多个开放域知识密集型任务上均表现出色，包括声明验证基准测试HoVer和FEVER，以及多个基于实体的问答基准测试。此外，我们还发现，该模型能够在无任何显式监督的情况下，自主学会关注具有信息量的提及内容。最后，我们证明了该模型可通过更新记忆库实现对未见过的新实体的泛化，而无需重新训练模型。