WISE(Wisdom for Hallucination Mitigation,即对抗幻觉的智慧)技术是由浙江大学于 2024 年提出的,旨在对抗大语言模型中的幻觉现象,并提升模型的知识记忆编辑能力。相关论文成果为「WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models」,并已被 NeurIPS (2024 Conference on Neural Information Processing Systems) 会议接收。
这项技术的核心在于其双参数记忆机制,它模仿了人类大脑左右半球在不同任务中的分工。 WISE 通过主记忆存储预训练知识,并引入侧记忆来专门存储编辑后的知识,这种侧记忆可以被视为一种中期记忆,它结合了长时记忆的泛化能力和基于检索的工作记忆的可靠性与局部性。
对于持续编辑,研究团队设计了一种知识分片机制,不同组的编辑内容存于参数的不同子空间中,随后可无冲突地合并到一个共享记忆中。大量实验表明,WISE 能够超越之前的模型编辑方法,并在流行的大型语言模型架构(如 GPT 、 LLaMA 和 Mistral)的问答、消除幻觉和处理分布外情况的终身模型编辑中克服不可能三角的难题。