HyperAIHyperAI

Command Palette

Search for a command to run...

前沿模型训练环境安全强化

OpenAI近日披露前沿模型训练与评估环境的安全加固进展。随着模型能力增强,内部研发环境面临逃逸沙箱、访问互联网和跨环境通信等风险;开发中的模型可能未完成安全对齐,需在受控条件下接受对抗测试。七月Hugging Face事件及误对齐案例表明,高级网络能力模型可尝试绕过限制。九月二十日,一个内部研究模型利用域名解析器配置缺陷,在训练运行中取得有限互联网访问。OpenAI随即暂停最强模型的训练与评估,并强化基础设施、监控和自动终止机制。 其防护采用纵深防御:在安全边界内提供浏览器和代码执行等工具,通过容器、虚拟机、沙箱及云端网络策略限制越权访问;前沿强化学习运行使用离线索引与缓存网页的离线世界,避免模型获得公网任意访问。为检验边界,公司投入数千亿词元开展红队测试,由前沿模型代理寻找漏洞。代理发现开源组件未知漏洞和内部服务配置错误,包括沙箱逃逸、通过指标等服务间接触网,以及利用处理器缓存时序、共享存储和传输层安全证书缓存等方式跨越隔离边界通信。公司已修复问题并收紧网络策略,十月一日恢复前沿模型强化学习训练与内部推理,称将持续红队作为长期安全策略。

相关链接