15 天前

双线性打分函数搜索用于知识图谱学习

Yongqi Zhang, Quanming Yao, James Tin-Yau Kwok
双线性打分函数搜索用于知识图谱学习
摘要

知识图谱(Knowledge Graph, KG)中实体与关系的嵌入学习已显著促进了诸多下游任务的发展。近年来,评分函数作为知识图谱学习的核心,通常由人工设计,用于衡量三元组的合理性并捕捉知识图谱中不同类型的关系。然而,由于关系模式往往复杂且难以在训练前准确推断,现有各类评分函数在基准任务上并无一种始终表现最优。受自动化机器学习(AutoML)近期成功的启发,本文通过AutoML技术搜索适用于不同KG任务的双线性评分函数。然而,如何有效探索领域特定信息在此类任务中颇具挑战性。为此,我们首先通过分析现有评分函数构建了AutoBLM的搜索空间;随后提出一种渐进式算法(AutoBLM)与一种进化算法(AutoBLM+),并通过引入过滤器与预测器进一步加速搜索过程,以有效应对知识图谱学习中的领域特异性属性。最后,我们在知识图谱补全、多跳查询及实体分类等基准任务上开展了大量实验。实验结果表明,所搜索得到的评分函数具有知识图谱依赖性,且在文献中属新提出结构,其性能显著优于现有评分函数。此外,在相同计算预算下,AutoBLM+优于AutoBLM,因其进化机制能够更灵活地探索更优的模型结构。