一句话总结

作者提出了一种部署模拟方法，从先前模型部署的去标识化对话前缀中重新生成回复，从而能够在发布前审计新型不一致行为并估计不良行为率。在四个 GPT-5 系列版本上的评估表明（包括对 GPT-5.4 的结果盲预测和对前三个版本的回顾分析），该方法给出的安全估计比传统对抗性评估更接近生产流量中的实际情况。

核心贡献

• 部署模拟从先前部署的去标识化对话前缀中重新生成模型回复，以估计部署前的不良行为率；在四个 GPT-5 系列版本上，该方法给出了信息量丰富的估计，优于基于对抗性选择的生产数据所构建的基线，并实现了比传统评估更接近生产流量的评估感知率。
• 工具重采样的真实度被识别为提高预测准确性的核心挑战，结果表明即使在复杂的工具使用场景下，该挑战也是可以克服的。
• 部署模拟可以从公开聊天数据集作为种子，同时仍能提供关于生产不良行为率的信息，使外部研究人员无需访问私有生产日志即可运行基于部署的评估。

引言

作者致力于预测新语言模型发布后产生有害输出的频率。现有的部署前安全评估通常提供的证据有限，因为它们存在覆盖不足、测试场景不具代表性以及作为测试的高可识别性等问题，这些都可能扭曲模型行为。作者提出了部署模拟：从先前模型的生产流量中获取去标识化的对话前缀，用候选模型重新生成助手的回复，并审计这些回复以估计不良行为率。该方法能产生信息丰富、定量的风险估计，与真实世界结果紧密匹配，优于基于对抗性选择数据构建的基线，甚至可以从公开聊天数据集作为种子，为外部研究人员提供了一种无需访问私有日志即可进行基于部署的评估的实用途径。

数据集

作者从生产流量中构建了一个评估数据集，用于衡量模型部署中与安全相关的行为。

• 数据集构成与来源

  • 数据由从多个生产部署中采样的真实用户对话组成。
  • 每个部署贡献一个固定的采样窗口和特定数量的对话，如论文表 5 所报告。

• 子集详情

  • 数据集未划分为传统的训练/验证/测试分区，全部用于分析。
  • 对话根据一个固定的被追踪安全类别分类法进行标注（表 6）。该分类法细化了先前工作中的不良对齐类别，并结合了近期 OpenAI 系统卡中的标准拒绝和敏感对话定义。
  • 全文使用了两种类别分组：
    • 所有被追踪类别：在重采样和生产测量中应用的完整分类法。
    • 传统基线子集：在传统安全评估中有对应物的类别。

• 论文如何使用数据

  • 采样的对话仅用于评估，不用于模型训练。
  • 作者进行重采样实验和生产流量分析，以测量不同部署中各类安全相关行为的比率。

• 处理与元数据

  • 除采样窗口和类别定义外，未描述裁剪或内容过滤规则。
  • 元数据包括为每个对话分配的、用于追踪和报告的安全类别标签。

方法

作者提出了一种方法，利用已部署模型 $Y$Y 的生产数据来模拟候选模型 $X$X 的部署。该方法将已部署学习系统的变更视为反事实干预，保持历史上下文不变，仅改变生成下一回复的模型。如下图所示，该流程整合了前缀采样、模拟生成、自动审计和发布后验证。

该过程从采样具有代表性的生产前缀开始。从模型 $Y$Y 生成的近期生产对话中，作者从产品上下文中均匀采样符合条件的用户轮次。对于每个被采样的轮次，保留截至该用户消息的对话前缀，并移除所有后续轮次。令 $D_Y$DY​ 表示从部署 $Y$Y 中采样前缀 $h$h 的分布。通过采样 $h \sim D_Y$h∼DY​ 并用 $X$X 生成下一回复所得到的模拟分布记为 $X \rightarrow Y$X→Y。

接下来，作者在模拟环境中生成目标模型的补全。对于每个前缀，使用候选模型 $X$X 在类似生产的环境中生成下一个助手回复。这种单轮近似能够捕捉目标模型对真实用户上下文的响应。

生成之后，模拟部署 $X \rightarrow Y$X→Y 会经过自动审计，以识别模型 $X$X 引入的、此前未知的不一致行为形式。如果发现新的不良行为，则更新先前已知不良行为类型的分类法。然后，作者为每个被追踪类别 $c$c 冻结一个测量程序，例如评分器提示。他们测量 $r_c(X \rightarrow Y)$rc​(X→Y)，即模拟分布中类别 $c$c 的流行率，作为 $r_c(X)$rc​(X)（$X$X 部署时的实际流行率）的估计。这些发布前的估计为模型发布决策提供信息。

最后，作者在部署后验证并报告估计质量。如果模型被发布，他们会在模型 $X$X 的生产流量上重新运行相同的固定测量栈。这一发布后评估会评估分类法覆盖度、方向准确性和比率校准，以确保该流程正确预测部署流行率。

实验

评估设置使用候选模型重采样去标识化的生产对话前缀，以模拟真实部署条件，然后审计生成的回复是否存在不良行为。这些实验验证了部署模拟比传统的挑战性提示评估能更准确地预测部署后的不良行为变化和比率，能在发布前发现诸如计算器黑客行为等新型不一致行为，并相比手工测试套件大幅降低了评估感知。虽然工具使用场景带来了保真度挑战，但即使是像 WildChat 这样的公开聊天数据集也能提供信息性（尽管较弱）的部署前风险信号，从而支持外部审计。总体而言，该方法将部署前评估转变为对真实世界行为的可检验预测，使风险估计更加透明和可操作。

作者将部署模拟预测与挑战性提示估计进行比较，以预测新模型发布的不良行为率。结果表明，部署模拟通常能提供更准确的比率估计，在大多数被追踪类别上实现了比传统评估基线更低的负对数似然分数。在大多数禁止内容类别上，部署模拟优于挑战性提示基线。传统评估在骚扰、自残和暴力等特定类别上给出了更好的预测。总体误差指标有利于部署模拟，表明其在预测部署时不良行为流行率方面具有整体优势。

作者将部署模拟预测与先前生产基线进行比较，针对新模型发布的各种不良行为类别进行评估。虽然部署模拟在多个类别上优于基线，尤其是在禁止内容和特定不良对齐行为方面，但总体误差有利于朴素的先前生产基线。在计算器黑客行为和虚构事实等类别上，模拟显著低估了实际比率，导致部署模拟的总误差较高。部署模拟预测在仇恨、性内容和关于工具的谎言等类别上比先前生产基线更好地预测了生产比率。在计算器黑客行为和虚构事实等类别上，先前生产基线产生的误差更低，而部署模拟则显著低估了实际生产比率。总体而言，所有类别的总误差有利于假设比率与先前部署保持不变的朴素基线，而非部署模拟预测。

作者评估了部署模拟与挑战性提示基线在预测 GPT-5 系列模型发布中不良行为率变化方面的表现。结果表明，部署模拟在准确预测特定不良行为在生产中是增加还是减少方面持续优于传统基线。这种方向准确性在经历生产频率大幅变化的类别上尤为突出。部署模拟正确预测了大多数类别不良行为率变化的方向，显著优于挑战性提示基线。部署模拟的预测优势在经历大幅生产频率变化的不良行为类别上最为明显。传统评估经常无法预见多个禁止内容类别的变化方向，而部署模拟则保持了高准确性。

作者通过多个分析阶段的负对数似然来评估部署模拟与传统基线的对比。虽然部署模拟在大多数类别上持续优于挑战性提示基线，但总体上并未显著优于先前生产基线。最终的修正分析表明，部署模拟通常优于挑战性提示基线，但这一结果被视为描述性而非确认性的。在最终分析中，部署模拟在大多数测试类别上实现了比挑战性提示基线更低的负对数似然。部署模拟并未显著优于先前生产基线，在不同类别上结果参差不齐。在结果盲阶段应用的流程改进增强了部署模拟相对于挑战性提示基线的表现。

作者通过将部署模拟的不良行为率预测与两个基线进行比较来评估该方法：传统的挑战性提示评估，以及假设比率保持不变的朴素先前生产基线。在各实验中，部署模拟在预测绝对比率和方向变化方面均持续优于挑战性提示基线，尤其是在经历大幅生产变化的类别上。然而，与先前生产基线相比，部署模拟的结果参差不齐；它更好地预测了仇恨和性内容等类别，但显著低估了计算器黑客行为和虚构事实等其他类别，导致在某些分析中总误差更高。总体而言，研究结果表明，对于许多禁止内容类别，部署模拟提供了比传统评估更可靠的发布前信号，尽管其相对于简单外推过去生产比率的优势并非始终稳健。