随着 AI 智能体在浏览网页、检索信息及代用户执行操作等方面能力的增强，系统面临着新的攻击威胁，其中提示注入已成为主要风险。早期的注入攻击多表现为在外部内容中直接嵌入恶意指令，但如今攻击手段已演变为更具隐蔽性的社会工程学策略，试图通过误导而非简单覆盖来操纵模型。单纯的输入过滤已难以应对此类复杂攻击，防御重点需转向系统设计本身，即通过限制智能体的行为权限，确保即便攻击成功也能将危害控制在最小范围。 在 ChatGPT 的安全实践中，团队借鉴了人类客服系统的管理逻辑。正如人类员工在面对欺诈或胁迫时可能犯错，系统需通过规则限制其操作上限，例如设定退款额度、自动标记可疑邮件等，以减轻个体被利用的风险。同时，引入源 - 汇分析框架，识别攻击者试图利用不可信外部内容触发危险行为（如向第三方传输信息）的路径。针对可能发生的敏感信息泄露，系统部署了“安全 URL"等缓解策略。当检测到智能体可能将对话中的秘密信息发送给恶意第三方时，系统会强制要求用户确认，或直接拦截并提示替代方案，从而确保敏感操作不会在用户不知情的情况下发生。 当前，大多数攻击因模型的安全训练而被直接拒绝，但对于极少数绕过防御的情况，上述架构性措施提供了关键保障。构建能抵御社会工程学的智能体，关键在于将人类在类似场景下的控制措施转化为技术限制。尽管更智能的模型理论上具备更强的抗干扰能力，但结合实际应用的成本与可行性，建立分层防御体系仍是保障 AI 智能体与外部世界安全交互的必要手段。未来，团队将持续优化训练策略与架构设计，以应对不断演变的安全挑战。