基于深度学习的概率推理：神经关联模型

本文提出了一种新的深度学习方法，称为神经关联模型（Neural Association Model, NAM），用于人工智能中的概率推理。我们建议使用神经网络来建模领域内任意两个事件之间的关联。神经网络以一个事件作为输入，计算另一个事件的条件概率，从而建模这两个事件之间可能的关联程度。条件概率的实际含义因应用而异，取决于模型的训练方式。在本研究中，我们通过两个案例研究探讨了两种NAM结构，即深度神经网络（Deep Neural Networks, DNN）和关系调制神经网络（Relation-Modulated Neural Nets, RMNN），在多个AI领域的概率推理任务上的表现，包括文本蕴含识别、多关系知识库中的三元组分类以及常识推理。实验结果表明，在从WordNet、FreeBase和ConceptNet等流行数据集中提取的多个数据集上，DNN和RMNN均表现出色，并且显著优于这些推理任务的传统方法。此外，与DNN相比，RMNN在知识迁移方面具有优势，即预训练模型可以在观察到少量训练样本后迅速扩展到未见过的关系。为了进一步证明所提模型的有效性，我们在本研究中将NAM应用于解决具有挑战性的温格拉德模式（Winograd Schema, WS）问题。在一组WS问题上进行的实验表明，所提出的模型在常识推理方面具有潜力。