一句话总结

来自上海交通大学和北京航空航天大学的研究者提出了 ActorBreaker，这是一种基于 Latour 行动者网络理论的新型攻击方法，利用良性、语义相关的提示与原始有毒内容之间的自然分布偏移来绕过对齐后 LLM 的安全机制，在多样性、有效性和效率方面均优于现有攻击方法，并构建了一个多轮安全数据集，通过微调来增强鲁棒性。

核心贡献

• 论文识别了对齐后 LLM 的一个新失效模式：它们对自然分布偏移的脆弱性，即与有害内容语义相关的良性提示可以绕过安全机制。

• 论文提出了 ActorBreaker，一种基于 Latour 行动者网络理论的新型多轮攻击方法，能够生成多样化、自然措辞的提示来系统性地探测 LLM 的漏洞。该方法在 HarmBench 上达到了最先进的性能，能够绕过 Llama Guard 2 的检测，并且无需额外优化即可在不同对齐后的 LLM 之间迁移。

• 论文利用 ActorBreaker 构建了一个多轮安全数据集，并证明在该数据集上微调模型能够显著提升对自然分布偏移攻击的鲁棒性，这表明扩展安全训练数据以覆盖更广泛的毒性内容语义空间具有重要意义。

引言

作者解决了大语言模型中的一个关键安全缺口：这些系统在包含有害内容的网络规模数据上进行了预训练，虽然安全训练教会它们拒绝明确的有毒查询，但这种保护在自然分布偏移下可能会崩溃。具体来说，与有害话题语义相关的良性提示，例如在多轮对话中提及某个已知恐怖分子，可以逐渐引导对齐后的模型泄露危险细节。这一漏洞之所以重要，是因为它并非由刻意的越狱技巧驱动，而是利用了模型在预训练期间习得的语义关系，而这些关系并未被安全数据覆盖。

先前的多轮攻击方法依赖于固定策略（角色扮演、假设场景）或人工设计的种子模板，这限制了提示的多样性，并使提示偏离自然分布。这些方法还依赖于明确的恶意修改，因而更容易被检测到。

作者提出了 ActorBreaker，一种基于 Latour 行动者网络理论的多轮攻击方法。它构建了一个由多样化的行动者（包括人类和非人类，如书籍、媒体、社会运动）组成的与有害目标相关联的概念网络，并将每个节点作为攻击线索来生成分布内、良性的多轮提示，无需任何越狱技巧。该方法在对齐后的 LLM 上实现了 Harmbench 上最先进的成功率，甚至能够绕过 GPT-o1 等先进模型，其提示也能够逃避 Llama Guard 2 的检测。为了缓解这一风险，作者还利用 ActorBreaker 构建了一个多轮安全对齐数据集，并证明在其上进行微调能够提升模型的鲁棒性，这凸显了扩展安全训练以覆盖更广泛的毒性内容语义空间的必要性。

方法

作者提出了一个两阶段框架，用于自动识别攻击线索并生成多轮对抗性查询。第一阶段围绕种子有毒提示构建行动者网络以提取语义关系，第二阶段利用这些线索通过自我对话模拟来编排逐步攻击。

行动者网络构建 初始阶段基于 Latour 的行动者网络理论，该理论认为实体存在于关系网络之中。系统识别了参与有害内容生命周期的六类语义行动者：创作（Creation）、传播（Distribution）、执行（Execution）、接收（Reception）、促进（Facilitation）和监管（Regulation）。框架构建了一个两层树状结构，根节点代表具体的有害目标 $x$x。第一层包含这六类抽象行动者类型，叶节点则由实例化的具体实体组成，如历史人物、书籍或社会运动。

为了使该结构适应特定的有害目标，系统采用大语言模型（LLM）将概念网络 $\mathcal{G}_{concept}$Gconcept​ 实例化为具体实例 $\mathcal{G}_{inst}$Ginst​。树中的边捕获了具体行动者与有害目标之间的语义关系。叶节点及其连接边被提取出来，形成一组多样化的潜在攻击线索 $C$C。

攻击内生成 第二阶段根据选定的线索生成实际的攻击查询。该过程包含三个不同步骤：推断攻击链、通过自我对话生成查询以及动态修改路径。

首先，给定选定的攻击线索 $c_i$ci​ 和有害目标 $x$x，攻击者 LLM 推断出一条思路链 $z_1, \dots, z_n$z1​,…,zn​。该链建立了从线索到目标的逻辑路径，指定多轮查询的话题应如何演变，以引导受害者模型产生期望的有害响应。

其次，系统按顺序生成多轮查询集 $[q_1, \dots, q_n]$[q1​,…,qn​]。上下文 $s$s 包括有害目标、攻击线索和思路链。第一个查询 $q_1$q1​ 基于 $s$s 生成。后续查询 $q_i$qi​ 以之前的查询和预测的响应为条件。在生成阶段，框架不直接查询受害者模型，而是采用自我对话策略。攻击者 LLM 预测受害者的响应 $r_i$ri​ 作为代理。这使得系统能够模拟交互、预判安全护栏，并在没有目标模型实时反馈的情况下优化查询序列。

第三，框架包含一个可选的动态修改模块，用于处理与实际受害者模型交互过程中的失配问题。一个评判 LLM 评估受害者的响应，以识别两种类型的失败。如果响应表明"未知"失败（例如知识缺乏），系统会停止当前尝试并使用新线索重新开始以提高效率。如果响应表明"拒绝"失败，即模型明确拒绝查询，系统会通过用省略号或同义词替换敏感词来优化查询。这种修改有助于在保持攻击语义意图的同时绕过安全过滤器。

实验

在六个 LLM 上，ActorBreaker 通过生成良性但语义相关的提示，可靠地引发有害响应，从而优于领先的单轮和多轮攻击基线（包括强推理模型）。六类行动者产生了多样化的攻击提示，使用更多行动者类型持续提高了攻击成功率，突显了多样化的语义关系如何暴露不同的安全漏洞。该方法展示了跨模型的强迁移能力，比多轮基线具有更高的多样性和效率，其提示在很大程度上绕过了毒性检测。利用从这些攻击中构建的多轮安全数据并结合表示空间对齐的自适应防御，显著降低了成功率，这既强调了攻击的鲁棒性，也体现了多轮安全调优的价值。

ActorBreaker 在所有评估的开源和闭源语言模型上均持续优于单轮和多轮攻击基线，实现了最高的平均攻击成功率。该方法对 GPT-o1 尤为有效，在未使用特殊优化的情况下达到了 60% 的成功率，而最强基线仅为 14%。其提示的毒性也低于其他多轮攻击方法。ActorBreaker 的平均攻击成功率达到 77.7%，远超最佳单轮基线的 18.3% 和最佳多轮基线的 45.0%。针对 GPT-o1，ActorBreaker 达到了 60.0% 的成功率，而最强基线（Crescendo）仅达到 14.0%。根据 Llama Guard 2 的分类，该方法的多轮提示毒性低于原始有害查询和其他多轮攻击。

该表报告了六类行动者在四个语言模型上的攻击成功率，表明所有行动者类别都能有效探测安全漏洞。成功率因行动者类型和模型而异，其中传播（Distribution）和促进（Facilitation）通常表现良好，监管（Regulation）往往最低。这些结果证实了多样化的行动者定义能够实现鲁棒的多轮攻击。六类行动者在开源和闭源模型上均取得了显著的成功率，验证了其有效性。传播（Distribution）和促进（Facilitation）行动者类型往往产生更高的成功率，而监管（Regulation）始终显示最低的成功率。成功率因模型而异，GPT-3.5 和 Llama-3-70B 在各类行动者上的整体有效性高于 GPT-4o 和 Llama-3-8B。

该表展示了随着更多行动者类别的组合，Harmbench 上的攻击成功率如何提升。对于每个测试模型，成功率从单一行动者到完整的六类组合持续上升，完整组合取得了最高得分。这一趋势支持了论文的论点：扩展对抗行动空间能够更有效地探测模型安全漏洞。在全部四个模型上，添加更多行动者类别持续提高了攻击成功率。创作、执行、传播、接收、促进和监管的完整组合取得了最高成功率，在 Llama-3-70B-instruct 上高达 90%。最大的相对增益通常出现在将执行或传播添加到基础创作行动者之上时。

ActorBreaker 在所有评估模型上均在 Harmbench 上取得了高攻击成功率，且加入动态修改持续提升了性能。平均成功率从无修改时的 72.7% 上升到有修改时的 81.2%，表明在交互过程中调整攻击路径能够增强有效性。动态修改提升了每个模型的攻击成功率，其中 Claude-3.5 和 Llama-3-70B 的增益最大。应用动态修改后，平均攻击成功率提升了 8.5 个百分点。GPT-4o 在动态修改下达到了最高成功率 84.5%，而 Llama-3-8B 从 68.0% 显著跃升至 79.0%。

该表使用成对余弦相似度衡量多轮攻击方法的提示多样性，数值越高表示多样性越大。与 CoA 和 Crescendo 相比，ActorBreaker 在所有测试模型上均显示更高的多样性得分。这表明 ActorBreaker 生成了更多样化的攻击提示，这可能有助于其有效探测安全漏洞。ActorBreaker 在所有评估模型上均取得了最高的多样性得分，优于 CoA 和 Crescendo。Crescendo 表现出中等多样性，而 CoA 的多样性最低，其数值随攻击推进而下降。多样性差异与攻击成功率一致，表明更多样化的提示与更好的模型漏洞探测相关。

ActorBreaker 在多样化的开源和闭源语言模型上持续优于单轮和多轮攻击基线，实现了最高的平均攻击成功率（77.7% 对比最佳基线的 45.0%），并且对 GPT-o1 的成功率达到 60%，而最强基线仅为 14%，同时生成的提示毒性更低。消融研究表明，六类行动者均有效，其中传播（Distribution）和促进（Facilitation）通常产生更高的成功率，监管（Regulation）最低，并且组合更多行动者类别会逐步提升跨模型的攻击成功率。加入动态修改进一步提升了性能，将平均成功率从 72.7% 提升到 81.2%，且在每个模型上均有持续增益。ActorBreaker 还通过成对余弦相似度衡量，生成了比基线方法更多样化的提示，这与较高的攻击成功率相关。