HyperAIHyperAI

Command Palette

Search for a command to run...

隐藏提示词可致AI智能体植入虚假记忆

近日,新墨西哥州立大学研究团队在arXiv预印本平台发布最新成果,揭示了一种名为GhostWriter的新型网络攻击。该攻击利用隐蔽提示词向具备长期记忆功能的大语言模型代理注入恶意数据,成功篡改AI记忆库。团队负责人George Torres指出,集成持久记忆的AI代理在处理敏感个人信息时,若接触未受信任的信息源,极易形成安全盲区。 GhostWriter采用两阶段运作机制。第一阶段为隐蔽注入,攻击者将虚假记忆或恶意指令潜伏至AI记忆模块;第二阶段为触发激活,在用户发起常规任务请求时,被污染的记忆被系统调用并执行非授权操作。测试表明,该攻击在主流代理上的注入成功率接近百分之九十八,激活率高达百分之六十。成功入侵后,AI可能被诱导自动整理并秘密转发特定发件人的金融或机密邮件,造成严重数据泄露。 为弥补记忆治理的安全短板,研究团队提出Agentic Memory Sentry防御框架。该策略通过部署记忆保存规范与检索审查屏障,在有效拦截恶意信息的同时,保持AI代理的原有服务性能。实验证实,该机制可大幅压低攻击成功率。此项成果为记忆型AI系统的安全架构设计提供了关键参考,相关防御技术未来有望适配更广泛的智能代理场景,助力个人助理类AI产品的安全合规演进。

相关链接

隐藏提示词可致AI智能体植入虚假记忆 | 热门资讯 | HyperAI超神经