基于图的路径：知识图谱增强的大语言模型推理

大型语言模型（LLMs）在各种任务中取得了令人印象深刻的结果，但在幻觉问题和缺乏相关知识方面仍面临挑战，尤其是在深度复杂推理和知识密集型任务中。知识图谱（KGs）以结构化形式捕捉了大量事实，为推理提供了一个可靠的知识来源。然而，现有的基于KG的LLM推理方法在处理多跳推理、多实体问题以及有效利用图结构方面遇到了困难。为了解决这些问题，我们提出了一种名为路径过图（Paths-over-Graph, PoG）的新方法，通过整合来自KG的知识推理路径来增强LLM的推理能力，从而提高其输出的可解释性和可信度。PoG通过三个阶段的动态多跳路径探索来解决多跳和多实体问题，将LLM的内在知识与KG中的事实知识相结合。为了提高效率，PoG首先从图探索中剪枝无关信息，并引入了高效的三步剪枝技术，这些技术结合了图结构、LLM提示和预训练语言模型（例如SBERT），有效地缩小了候选路径的范围。这确保所有推理路径都包含从KG中提取的高度相关信息，从而使推理在解决问题时更加可信和可解释。PoG创新性地利用图结构来剪枝无关噪声，并成为首个在KG上实现多实体深度路径检测的方法，用于LLM推理任务。在五个基准KGQA数据集上的全面实验表明，PoG在GPT-3.5-Turbo和GPT-4上均优于当前最先进的方法ToG，平均准确率提高了18.9%。值得注意的是，使用GPT-3.5-Turbo的PoG在某些情况下甚至超过了使用GPT-4的ToG高达23.9%。