HyperAIHyperAI

Command Palette

Search for a command to run...

AI浏览器难以摆脱提示注入威胁 OpenAI发出警告

OpenAI在一篇最新博客中承认,尽管正不断加强其AI浏览器ChatGPT Atlas的安全防护,但“提示注入”攻击——即通过隐藏在网页或邮件中的恶意指令操控AI代理执行非预期行为——仍将是长期无法根除的安全挑战。OpenAI指出,这类攻击与网络上的诈骗和社交工程类似,几乎不可能被彻底“解决”。 Atlas浏览器于10月上线后,安全研究人员迅速发现其存在严重漏洞。例如,仅在Google Docs中输入几行文字,就可改变浏览器的运行逻辑。类似问题也出现在Perplexity的Comet和Brave等AI浏览器中。英国国家网络安全中心(NCSC)也警告称,生成式AI应用中的提示注入攻击“可能永远无法完全消除”,建议从业者将重点放在降低风险和影响,而非追求绝对防御。 OpenAI表示,其“代理模式”(agent mode)虽提升了功能,但也扩大了攻击面。为应对这一持续威胁,公司正采用一种“主动、快速响应”的防御机制。其核心是训练一个基于强化学习的“AI攻击模拟器”——一个能自动扮演黑客角色、不断尝试新型攻击策略的AI bots。该系统在模拟环境中测试攻击路径,分析目标AI的内部推理过程,从而发现人类红队难以察觉的新型攻击方式。 在演示中,该AI攻击者成功将一条隐藏恶意指令的邮件植入用户收件箱。当AI代理自动扫描时,本应生成“外出通知”的任务,却执行了“发送辞职信”的错误操作。但经过安全更新后,Atlas已能识别并警告此类攻击。 OpenAI强调,尽管无法完全杜绝提示注入,但通过大规模自动化测试和快速迭代补丁,可有效延缓真实世界攻击的发生。公司也建议用户限制AI代理的权限,避免给予其“全权处理”类指令,而应明确具体任务。同时,系统在发送消息或支付前会要求用户确认。 网络安全公司Wiz的高级安全研究员Rami McCarthy认为,AI浏览器的高风险在于“中等自主性+极高权限”的组合,这使其在处理邮件、支付等敏感数据时存在巨大隐患。他指出,当前大多数日常使用场景尚不足以证明其高风险的合理性。虽然技术在进步,但“权衡与风险”仍是现实问题。

相关链接