一句话总结

来自复旦大学、同济大学的研究者及其合作者提出了 PolicyShiftBench，一个面向策略自适应图像护栏的基准，以及 PolicyShiftGuard，一种通过随机化策略 SFT 和边界对策略自适应训练的紧凑护栏，利用匹配的通过/拦截样本对以及成对比较损失来区分拦截策略与通过策略，其中 7B 模型在 PolicyShiftBench 上取得 76.9 的平均 F1 和 72.1 的平均 PSS，并良好迁移到 UnSafeBench 和 SafeEditBench，通过简洁输出改善了延迟与性能的权衡，在策略偏移下显著优于现有脆弱的 VLM。

核心贡献

• 提出 POLICYSHIFTBENCH，该基准包含 2000 个策略判别实例，跨越 265 张图像、七个风险类别、五种审核场景和 28 种策略变体，用于评估策略自适应图像护栏。
• PolicyShiftGuard，一种策略条件护栏，通过两阶段方法训练，结合随机化策略 SFT（用于鲁棒的指令跟随）和边界对策略自适应（使用匹配的通过/拦截对，显式处理策略偏移）。
• 实验表明，现有 VLM 和护栏在策略偏移下表现脆弱，而 PolicyShiftGuard 在 POLICYSHIFTBENCH 上取得最先进结果（76.9 平均 F1，72.1 平均 PSS），迁移至 UnSafeBench 和 SafeEditBench，并改善了延迟与性能的权衡。

引言

生产系统中的图像护栏必须执行不断变化的内容策略，这些策略因产品、用户年龄、地区和机构而异。然而，现有基准在单一分类法下分配固定标签，无法区分模型仅仅是识别风险内容，还是在活动规则变化时真正自适应其决策。相应地，当前护栏在策略边界偏移时，往往无法针对同一图像翻转判决。作者通过 POLICYSHIFTBENCH 填补这一空白，该基准通过源自真实审核场景的 28 种策略变体评估策略自适应护栏，其中每张图像在不同规则下同时存在通过和拦截标签。他们进一步提出 PolicyShiftGuard，一种利用可审计的、基于规则的数据进行训练的紧凑模型，通过两阶段方法显式优化同一图像上的策略翻转，相较于现有视觉语言模型，显著提升策略敏感性能。

数据集

作者引入 PolicyShiftBench，一个围绕七个风险类别和真实审核场景构建的策略自适应图像护栏基准。其关键数据特征如下：

• 数据集构成与来源

• 该基准构建自一个策划的图像集，每个图像标注了类别特定的属性向量。

• 它包含一个评估集，有 2000 个策略判别实例，涵盖 265 张独特图像和 28 种策略变体。

• 独立的训练语料包含 9,816 个策略条件实例，涵盖 2,945 张训练图像。

• 标注来自多个多模态标注者；通过字段级多数投票为每张图像生成结构化元数据。

• 各子集的关键细节

• 自适应分割（评估）： 1,000 个实例，130 张图像，16 种策略。旨在测试对已知策略变化的适应能力。

• 偏移分割（评估）： 1,000 个实例，152 张图像，12 种留出策略。用于衡量对未见策略偏移的泛化能力。

• 训练语料：

• 3,000 个 RP-SFT “无思考”示例，用于基本的策略条件响应学习。

• 3,000 个对齐的思考诊断示例，包含推理轨迹。

• 3,816 个 BP-Adapt 边界对示例，其中固定图像和类别与两种导致正确决策翻转的策略配对，强调边界自适应。

• 元数据构建与处理

• 每张图像接收类别特定的属性标注，例如裸露身体部位、武器、真实/虚构暴力、医疗场景等。

• 标注者仅提供原子事实，从不直接决定策略违规。

• 标签通过确定性方式构建：针对每个类别-策略对，在多数投票得到的属性上评估规则，输出拦截/通过决策。最终样本级标签为“不安全”，若七个类别中任一类别拦截该图像，否则为“安全”。

• 基准强调策略判别实例：相同图像和目标类别与不同策略同时出现，导致正确决策翻转。这迫使模型读取并应用当前策略，而非依赖静态的不安全线索。

• 质量控制：97.5% 的字段标注一致；其余通过多数投票解决。人工审核得到 88%（自适应）和 90%（偏移）的盲测准确率，数据质量合格率达 95%。训练与评估分区保持图像无交集。

• 训练数据的使用方式

• 包含 9,816 个实例的完整训练语料用于训练护栏模型。

• RP-SFT 子集教导模型在给定图像和策略时输出拦截/通过决策。

• 对齐的思考诊断子集鼓励模型在决策前阐述推理过程。

• BP-Adapt 边界对子集专门训练模型处理策略边界，即相同视觉证据在不同规则下必须导致不同决策。

方法

作者为 PolicyShiftGuard 提出两阶段训练方法，如下图所示：

第一阶段，随机化策略 SFT（RP-SFT），教导模型遵循策略束并生成结构化护栏输出。第二阶段，边界对策略自适应（BP-Adapt），训练匹配的通过/拦截边界对，使得活动策略变化时，最终决策随之改变。

在第一阶段，随机化策略 SFT（RP-SFT），作者使用策略条件监督微调数据训练护栏模型。该阶段使用的图像与所有评估分割无交集。每个训练样本包含图像 $x$x，运行时策略束 $\mathcal{B} = \{p_1, \ldots, p_7\}$B={p1​,…,p7​}，以及通过在投票得到的视觉元数据 $a(x)$a(x) 上执行活动策略规则计算出的确定性目标。目标 $y(x, \mathcal{B})$y(x,B) 定义为：

$$y(x, \mathcal{B}) = \begin{cases} \text{true} \mid c, & \exists c: f_{c, p_c}(a_c(x)) = 1, \\ \text{false}, & \forall c: f_{c, p_c}(a_c(x)) = 0. \end{cases}$$y(x,B)={true∣c,false,​∃c:fc,pc​​(ac​(x))=1,∀c:fc,pc​​(ac​(x))=0.​

模型使用监督式下一 token 预测与损失函数进行优化：

$$\mathcal{L}_{\mathrm{RP-SFT}} = \mathbb{E}_{(x, \mathcal{B}, y), \rho} \left[ - \log p_{\theta}(\rho(y) \mid x, \rho(\mathcal{B})) \right],$$LRP−SFT​=E(x,B,y),ρ​[−logpθ​(ρ(y)∣x,ρ(B))],

其中 $\rho$ρ 随机化策略呈现方式，包括策略顺序、表面标识符和类别槽位分配，同时对目标类别标识符应用相同变换。这种随机化消除了固定策略位置或固定文本模板带来的简易捷径，迫使模型读取所提供的策略束，将视觉证据与活动规则绑定，并输出结构化决策。

在第二阶段，边界对策略自适应（BP-Adapt），作者构建了一个后训练源，以改善对新策略的适应。核心单元是一个边界对，其中图像和视觉证据固定，但活动策略改变了正确标签：

$$q^+ = (x, \mathcal{B}^+) \rightarrow \text{true} \mid c, \quad q^- = (x, \mathcal{B}^-) \rightarrow \text{false}.$$q+=(x,B+)→true∣c,q−=(x,B−)→false.

这里，$\mathcal{B}^+$B+ 拦截类别 $c$c，而 $\mathcal{B}^-$B− 允许相同证据。RP-SFT 检查点使用最终 token 目标加边界感知间隔进行微调：

$$\mathcal{L}_{\mathrm{BP}} = \mathcal{L}_{\mathrm{CE}} + \lambda_l \mathcal{L}_{\text{label}} + \lambda_p \mathcal{L}_{\text{pair}} + \lambda_w \mathcal{L}_{\text{cat}}.$$LBP​=LCE​+λl​Llabel​+λp​Lpair​+λw​Lcat​.

$\mathcal{L}_{\mathrm{CE}}$LCE​ 训练精确答案字符串，$\mathcal{L}_{\text{label}}$Llabel​ 为每个提示分离正确的安全或不安全前缀，$\mathcal{L}_{\text{cat}}$Lcat​ 在拦截示例上稳定违规类别 ID。关键项是对间隔：

$$\mathcal{L}_{\text{pair}} = \max \bigl(0, m - \bigl[ s_{\theta}(\text{true} \mid q^+) - s_{\theta}(\text{true} \mid q^-) \bigr] \bigr),$$Lpair​=max(0,m−[sθ​(true∣q+)−sθ​(true∣q−)]),

其中 $s_{\theta}(\text{true} \mid q)$sθ​(true∣q) 是模型对不安全决策前缀的得分。该对损失迫使拦截策略在匹配的视觉证据上获得高于通过策略的不安全得分，直接优化策略条件决策间隔。

实验

PolicyShiftBench 基准评估图像护栏模型在审核策略变化时能否自适应其决策，揭示了许多模型能识别不安全内容，但无法针对同一图像在不同策略下灵敏地更新判断。扩大模型规模能提升内容识别能力，但无法缩小策略自适应差距；偏向推理或基于 RL 的训练往往不如直接、简洁的边界对优化有效。所提出的 PolicyShiftGuard 表明，基于策略判别图像对的显式训练以及精简输出 token，可同时带来更高的策略敏感度以及有利的延迟与准确率权衡。总体而言，实验表明，有效的策略自适应护栏需要专注的训练方法，且评估必须联合衡量安全性能与推理速度。

大多数视觉安全基准强制执行单一固定策略，每张图像一个标签，且缺乏切换策略或组合策略束的机制。所引入的基准支持可变的、基于场景的策略，组合式策略束，以及直接捕获同图像策略翻转的成对评估指标，并公开提供策略条件训练数据。除 SafeEditBench 和 LLaVA-Guard 外，先前的基准不改变活动安全策略，为每张图像分配单一静态标签。所有早期基准均缺少组合策略支持（即类别策略可灵活组合为运行时策略束），只有新基准提供该功能。一种专用的策略偏移指标（PSS），显式衡量同一图像在不同策略下正确决策的翻转，是所引入基准的独特之处。LLaVA-Guard 提供部分策略变化（‘flip’），但不包含组合策略或策略自适应评估指标。公开的策略条件训练数据稀缺；新基准提供了全面的数据集，而大多数早期基准释放的策略自适应场景训练数据极少甚至没有。

PolicyShiftGuard 相比其基础模型大幅改善了策略自适应护栏，在基准上取得最强综合性能。通用多模态模型在识别不安全内容与适应策略变化之间存在明显差距，许多模型获得了中等平均 F1，但平均策略偏移敏感度极低。即使扩大模型规模也无法缩小这一适应差距，这凸显了该基准隔离了一种独特能力。PolicyShiftGuard-7B 将基础模型的平均 F1 从 20.6 提升至 76.9，平均策略偏移敏感度从 4.8 提升至 72.1，建立起最佳综合策略自适应性能。若干通用模型取得了可观的平均 F1 分数（例如 59.2），但平均策略偏移敏感度近乎为零，表明安全/不安全识别与策略偏移敏感度是两种独立能力。更大规模的 Qwen2.5-VL 变体随规模提升平均 F1，但策略偏移敏感度依然很低，仅从 7B 的 4.8 升至 72B 的 27.4，说明仅靠模型规模不足以实现策略适应。PolicyShiftGuard-7B 将推理延迟从 273.3 ms 降低至 163.9 ms（相对于基础模型），同时提升了准确率，主要得益于简洁的输出格式，可在五个 token 以内完成决策。识别视觉风险内容与适应不同策略之间的性能差距在需要细粒度属性提取的类别中尤其显著，例如受管制物品、知识产权与品牌安全、以及隐私。

PolicyShiftGuard-7B 在四个安全基准上取得最高总体平均分，PolicyShiftGuard-3B 是第二好的总体模型。在基线系统中，SafeGuard-VL-RL-7B 在 UnSafeBench 和 Adaptive 上领先，GuardReasoner-VL-3B 展现出强大的策略偏移泛化能力，而基础 Qwen2.5-VL-7B 在留出的策略偏移上表现严重挣扎。PolicyShiftGuard-7B 获得最高总体得分，PolicyShiftGuard-3B 位居第二，超越所有被评估的基线。基础 Qwen2.5-VL-7B 在策略偏移任务上失败（Shift 上的 F1 为 12.1），但专用护栏模型如 GuardReasoner-VL-3B 和 SafeGuard-VL-RL-7B 将 Shift 分数提升至 54 以上。

在监督微调期间进行策略随机化（RP-SFT）相比标准 SFT 持续提升了平均 F1 分数，对 7B 模型的好处远大于 3B 模型。然而，仅靠随机化并不能保证更好的策略自适应行为；对 7B 模型而言，偏移 PSS 指标急剧下降，表明打破对固定策略顺序的依赖尚不足以确保对留出策略的鲁棒适应。RP-SFT 将 3B 模型的总体平均 F1 提高 1.2 分，将 7B 模型提高 7.2 分。对 7B 模型，随机化导致偏移 PSS 下降 9.7 分，揭示对未见策略的适应能力减弱。

移除对损失导致平均 F1 远低于第一阶段基线，而添加对损失则大幅提升两种模型规模的平均 F1 和平均策略特定灵敏度（PSS）。对 7B 模型的增益更大，证实显式学习区分跨策略的匹配通过/拦截决策对有效的策略自适应护栏至关重要。没有对损失时，第二阶段平均 F1 降至 56.1（3B）和 59.2（7B）；添加该损失后，3B 的平均 F1 提升 10.6 分，7B 提升 17.7 分。对 7B 模型，使用对损失时平均 PSS 从 45.2 提升至 70.4，表明边界对训练在大模型上显著改善对策略偏移的敏感度。

所引入的基准揭示，策略自适应视觉护栏是一种不同于识别不安全内容的能力，因为通用多模态模型取得了显著的安全分数，但对策略变化的敏感度近乎为零，这一差距不会随规模增大而缩小。PolicyShiftGuard 通过策略条件训练大幅弥合了这一差距，其 7B 变体在多个安全基准上取得最强的策略自适应性能，同时降低推理延迟。消融实验证实，在微调期间将图像与相反策略决策配对对于学习正确翻转输出至关重要，而仅凭策略随机化甚至可能损害对新策略的适应。