大型语言模型知识编辑的综合研究

大规模语言模型（Large Language Models, LLMs）在理解与生成高度贴近人类交流的文本方面展现出非凡能力。然而，其主要局限在于训练过程中巨大的计算资源需求，这主要源于模型参数量的急剧膨胀。这一挑战因现实世界的动态性而进一步加剧：为纠正过时信息或融入新知识，LLMs 需频繁更新，以维持其持续的相关性。值得注意的是，许多实际应用场景要求在模型训练完成后仍能进行持续的调整，以弥补性能缺陷或修正不良行为。因此，近年来对高效、轻量级的实时模型修改方法的兴趣日益增长。为此，近年来知识编辑（knowledge editing）技术迅速发展，旨在高效地调整 LLM 在特定领域内的行为，同时保持其在各类输入上的整体性能。本文首先明确定义了知识编辑问题，并对当前前沿方法进行了全面综述。受教育学与认知科学研究理论的启发，我们提出了一种统一的分类标准，将现有知识编辑方法划分为三类：依赖外部知识、将知识融合进模型内部，以及直接编辑模型内在知识。此外，我们构建了一个新的基准测试集——KnowEdit，用于对代表性知识编辑方法进行系统性实证评估。同时，本文深入分析了知识在模型中的定位机制，有助于更深刻地理解 LLM 内部隐含的知识结构。最后，我们探讨了知识编辑技术的若干潜在应用场景，展望了其广泛而深远的影响。