HittER：用于知识图谱嵌入的分层Transformer

本文研究了在复杂多关系知识图谱中学习实体与关系表示这一具有挑战性的问题。我们提出了一种名为 HittER 的分层 Transformer 模型，该模型基于源实体的邻域，联合学习实体-关系组合与关系上下文建模。所提出的模型由两个不同的 Transformer 模块构成：底层模块用于提取源实体局部邻域中每个实体-关系对的特征，顶层模块则聚合底层模块输出的关系信息。为进一步平衡关系上下文与源实体自身信息的贡献，我们设计了一种掩码实体预测任务。实验结果表明，HittER 在多个链接预测数据集上取得了新的最先进性能。此外，我们提出了一种简单有效的方法，将 HittER 与 BERT 模型进行集成，并在两个 Freebase 事实型问答数据集上验证了其有效性。