摘要
最近的研究表明，利用维基百科实体的跨语言对齐信息可以有效提升多语言预训练语言模型的性能。然而，现有的方法仅在预训练阶段利用实体信息，而在下游任务中并未显式使用这些实体。本研究探讨了在下游跨语言任务中利用实体表示的有效性。我们使用包含24种语言的实体表示训练了一个多语言语言模型，并展示了该模型在各种跨语言迁移任务中持续优于基于词汇的预训练模型。此外，我们还分析了该模型，关键发现是将实体表示融入输入可以提取更多的与语言无关的特征。我们还使用mLAMA数据集评估了该模型在多语言填空提示任务中的表现。结果显示，基于实体的提示比仅使用词汇表示更有可能激发正确的事实知识。我们的源代码和预训练模型可在https://github.com/studio-ousia/luke 获取。