HyperAIHyperAI

Command Palette

Search for a command to run...

OpenAI训练AI攻击模型强化GPT安全防护

近日,OpenAI发布了一项旨在强化AI安全防御的前沿成果:自主研发攻击型大语言模型GPT-Red。该模型并非面向普通用户提供服务,而是专司红队测试任务,通过自我对弈机制不断挖掘自身及其他模型的漏洞,从而推动产品迭代升级。随着大语言模型逐渐具备联网浏览、代码调用及多智能体协作等复杂能力,传统依赖人工的安全测试已难以覆盖庞大的攻击面。为此,OpenAI构建高仿真模拟环境,让GPT-Red与防守模型展开循环对抗训练。在此过程中,该模型成功发现了一种名为伪造思维链的新型提示注入攻击方式,能够诱导目标模型基于虚假信息继续推理并输出错误结果。实测表明,面对早期模型,该自动化攻击手段的成功率超九成,有效攻击路径数量亦远超人工红队;而经GPT-Red针对性加固后的最新旗舰模型GPT-5.6,其漏洞被攻破率已骤降至23%以下。研究团队指出,GPT-Red在应对多轮复杂交互与图像攻击方面仍存在局限,因此定位为人力安全团队的辅助工具而非替代方案。未来工作流将采用人类专家设计攻击框架、AI自动生成变体扩展测试覆盖的模式。由于训练耗时超一年且高度依赖顶级算力,该模型暂未对外开源。业界认为,此举标志着AI安全测试正迈向自动化新阶段,人机协同将成为保障大模型稳健运行的核心范式。

相关链接