从文本中学习跨上下文实体表示

语言模型任务，即根据局部上下文预测单词或词片段，对于学习词嵌入和短语的上下文依赖表示非常有效。受观察到将世界知识编码为机器可读的知识库或人类可读的百科全书往往以实体为中心这一现象的启发，我们研究了使用填空任务从文本中提到的实体上下文中学习上下文独立的实体表示。我们展示了大规模神经模型训练使我们能够学习高质量的实体表示，并在四个领域取得了成功的结果：（1）现有的实体级类型基准测试，包括在TypeNet（Murty等人，2018年）上相比之前工作减少了64%的错误；（2）新颖的少样本类别重建任务；（3）现有的实体链接基准测试，在不使用链接特定特征的情况下，我们在CoNLL-Aida上的表现与最先进水平相当，并且在TAC-KBP 2010上获得了89.8%的成绩，而未使用任何别名表、外部知识库或领域内训练数据；（4）回答琐事问题，这些问题可以唯一地识别出实体。我们的全局实体表示编码了细粒度的类型类别，例如苏格兰足球运动员（Scottish footballers），并能回答诸如“柏林斯潘道监狱的最后一任囚犯是谁？”这样的琐事问题。