2 个月前

使用梯度表示增强组合模型以完成知识库

Matthias Lalisse; Paul Smolensky
使用梯度表示增强组合模型以完成知识库
摘要

神经模型通常采用图对象的组合表示来处理知识库数据:实体和关系嵌入系统地结合以评估候选知识库条目的真实性。受和谐语法(Harmonic Grammar)启发,我们提出通过优化过程对三元组嵌入进行分词,该过程基于学习到的知识库三元组的良构条件。所得到的模型被称为梯度图(Gradient Graphs),当作为组合模型的辅助时,能够显著提高性能。此外,我们还展示了该模型生成的“超组合”(supracompositional)三元组分词嵌入具有可解释性特征,这些特征在对生成的三元组表示进行推理时证明是有帮助的。