韩国首尔国立大学工学院计算机工程系教授宋铉昊领导的研究团队开发出一项名为KVzip的新人工智能技术，可将基于大语言模型（LLM）的聊天机器人在长对话任务中的“对话记忆”压缩3至4倍，同时保持原有准确率并实现约2倍的响应速度提升。该研究成果已发表于arXiv预印本平台。 对话记忆指聊天机器人在交互过程中临时存储的对话内容，用于生成上下文连贯的回答。随着对话变长，记忆数据量急剧增加，导致计算成本上升、响应变慢。现有压缩方法多依赖当前查询，仅对单次问题优化，一旦提出新问题，性能往往显著下降。 为解决这一问题，宋铉昊团队提出KVzip，一种可重复使用的智能压缩技术。该方法通过识别并保留重建上下文所必需的核心信息，自动剔除冗余内容，使压缩后的记忆可长期有效用于后续多个问题，无需每次重新压缩，且不会造成准确率下降。在问答、检索、推理和代码理解等任务中，KVzip实现了3–4倍的内存压缩和约2倍的响应加速，且在长达17万token的超长上下文场景下仍表现稳定，适用于Llama 3.1、Qwen 2.5、Gemma 3等主流开源模型。 该技术已被集成至NVIDIA开源的KV缓存压缩库KVPress，便于实际部署。未来有望广泛应用于企业级LLM系统，如检索增强生成（RAG）流程和个性化聊天服务，显著降低服务器负载与运营成本，提升并发处理能力。 此外，KVzip特别适合移动端和边缘设备，因其高效利用有限资源，支持在本地实现稳定的长对话个性化功能。研究团队表示，该技术实现了“可复用的压缩记忆”，为需要长期上下文理解的AI代理提供了关键支持。 项目主要贡献者、第一作者金章贤博士将加入苹果公司AI/ML基础模型团队，担任机器学习研究员。宋铉昊团队另有多项成果入选NeurIPS 2025和《机器学习研究汇刊》（TMLR），涵盖高效模型量化、强化学习推理优化及大规模因果发现等前沿方向，展现出强大的研究实力。