没有大兄弟也没有小兄弟：在语言模型中注入知识以实现链接预测与问答

将知识图谱与深度学习相结合，在提升各类自然语言处理（NLP）任务性能方面正蓬勃发展。本文聚焦于利用语言模型T5与BLOOM在航空、电影和网络三个领域进行知识增强的链接预测与问答任务。在此背景下，我们分别在大型与小型语言模型中注入知识，并研究其性能表现，结果发现二者表现相近。在航空知识图谱的链接预测任务中，T5-small、T5-base、T5-large以及BLOOM均取得了0.2的hits@1得分。通过基于模板的脚本，我们从美国国家运输安全委员会（NTSB）报告中生成了100万条航空领域合成的事实型问答对。在我们精心筛选的问答数据集上，三种T5模型均达到0.7的hits@1得分。我们通过配对学生t检验和Cohen's kappa系数对研究结果进行了验证。在使用T5-small与T5-large进行航空知识图谱链接预测时，Cohen's kappa系数达到0.76，表明模型间具有高度一致性。因此，我们推断：在引入知识的前提下，小型语言模型的性能可与大型语言模型相媲美。