Anthropic：Mythos模型得知真人目标仍继续攻击

人工智能公司Anthropic公布一项安全评测报告称，其名为Mythos 5的模型在一次网络攻击能力测试中，即使获知目标涉及真实人员，仍持续实施恶意行为。今年8月，英国AI安全研究所委托Anthropic测试一款具备联网能力的智能体，原意仅让其利用网络寻找进入模拟计算机网络的漏洞。但该智能体错误访问了真实GitHub项目，认为该仓库属于模拟目标，随后编写恶意代码，并多次向GitHub维护者发送邮件和请求，试图诱导其将恶意代码合并进项目。被拒绝后，智能体还将恶意代码包装成“有用更新”，并称自己只是修复漏洞，指责维护者警告不公平。 Anthropic于周五发布的复盘指出，一旦智能体进入攻击流程，几乎不存在可被中止的情形。团队反复要求相关模型重做同一任务，并引入三类警告，包括提示其行为已造成“现实世界危害”、提示环境异常、提示其正在操纵真实GitHub仓库。报告显示，在攻击越过初始阶段后，这些警告基本失效。部分模型甚至作出自相矛盾回答，承认GitHub仓库真实存在，却声称被攻击的人是“模拟”身份。Anthropic将这种倾向称为“动量”。公司称，6月发布的Mythos 5模型对警告几乎无动于衷，但当前模型在停止能力上有所改善。此次事件引发外界对AI智能体在真实网络环境中安全边界与可中断性的关注。