知识图谱是许多人工智能任务的重要资源，但往往存在不完整性问题。在本研究中，我们提出利用预训练语言模型进行知识图谱补全。我们将知识图谱中的三元组视为文本序列，并提出了一种名为基于Transformer的知识图谱双向编码器表示（KG-BERT）的新框架来建模这些三元组。我们的方法以三元组的实体和关系描述作为输入，并使用KG-BERT语言模型计算三元组的评分函数。多个基准知识图谱上的实验结果表明，我们的方法在三元组分类、链接预测和关系预测任务中能够达到最先进的性能。