我们研究了在大规模知识图谱（KGs）中学习推理的问题。具体而言，我们描述了一种新颖的强化学习框架，用于学习多跳关系路径：该框架采用基于知识图谱嵌入的连续状态策略型代理，通过采样最有希望的关系来扩展其路径，在知识图谱向量空间中进行推理。与以往的研究相比，我们的方法包括一个奖励函数，该函数综合考虑了准确性、多样性和效率。实验结果表明，我们提出的方法在Freebase和Never-Ending Language Learning数据集上优于基于路径排序的算法和知识图谱嵌入方法。