3 个月前

Softmax交叉熵与负采样的统一解释:以知识图谱嵌入为例的案例研究

Hidetaka Kamigaito, Katsuhiko Hayashi
Softmax交叉熵与负采样的统一解释:以知识图谱嵌入为例的案例研究
摘要

在知识图谱嵌入领域,softmax交叉熵损失函数与负采样损失函数之间的理论关系尚未得到充分研究,这使得两者结果的公平比较变得困难。为解决这一问题,本文尝试利用Bregman散度对softmax交叉熵损失与负采样损失函数进行统一解释。在此框架下,我们得以推导出可用于公平比较的理论结论。在FB15k-237和WN18RR数据集上的实验结果表明,这些理论发现能够在实际应用场景中得到有效验证。