HyperAIHyperAI

Command Palette

Search for a command to run...

2 小时前
Agent
LLM

守护AI智能体:面向多层智能体红队测试的统一框架

Yong Yang Xing Zheng Huiyu Wu Huangsheng Cheng Xiaorong Shi Jing Guo Bo Yang Yi Zhou Xiangfan Wu Zonghao Ying

摘要

开源AI基础设施,从模型服务引擎、智能体平台到模型上下文协议(MCP)生态系统及语言模型本身,发展速度已远超相应的安全防御工具。我们提出AI-Infra-Guard,一个开源框架,其核心设计理念是:AI智能体的攻击面分层分布(基础设施、协议/工具、智能体行为、模型),单一检测范式无法覆盖所有层级。因此,该框架为每一层匹配不同的范式,包括基于确定性规则匹配的75+个AI组件和1,400+条漏洞规则,通过大语言模型驱动的智能体审计对MCP服务器与智能体技能包进行审查,进行多轮黑盒智能体红队测试,以及配备26+种攻击算子、覆盖十六个数据集的越狱测试工具。据我们所知,这是目前唯一覆盖所有这些层面的开源框架,其中包括对日益扩展AI智能体的智能体技能进行供应链审计。我们将AI-Infra-Guard开源发布,使得分层范式匹配能够成为智能体安全的实用基础,并为社区提供一个共建共享的基石。

一句话总结

腾讯朱雀实验室的 AI-Infra-Guard 是一个开源的统一红队测试框架,它将检测范式与 AI agent 的分层攻击面(基础设施、协议/工具、agent 行为以及模型层)相匹配,结合了对 75 个以上 AI 组件和 1400 余条漏洞规则的确定性规则匹配、基于 LLM 驱动的对 MCP 服务器和 agent 技能包的 agentic 审计、多轮黑盒 agent 红队测试,以及一个在十六个数据集上集成 26 个以上攻击算子的越狱测试套件,使其成为唯一覆盖所有上述层面的开源框架,包括对 agent 技能的供应链审计,并为保护开源 AI 基础设施提供了社区基础。

核心贡献

  • AI-Infra-Guard 是一个开源框架,能够跨越基础设施、协议/工具、agent 行为以及模型层对 AI agent 进行红队测试,并将每一层与其证据需求相适应的检测范式相匹配。该框架采用对 75 个以上 AI 组件和 1400 余条漏洞规则的确定性规则匹配、基于 LLM 驱动的对 MCP 服务器和 agent 技能包的 agentic 审计、多轮黑盒 agent 红队测试,以及一个在十六个数据集上集成 26 个以上攻击算子的越狱测试套件。
  • 一个 agentic 审计模块通过有界的推理-行动循环,以 Prompt‑as‑Rule 编码来分析 MCP 服务器和 agent 技能包,同时保护扫描器本身免受来自不可信工件的间接提示注入。
  • 模型层上的统一越狱测试套件将 16 个标准数据集上的 26 个以上攻击算子集成到一个可组合、可扩展的组件中,在不引入新攻击技术的情况下完善了跨层框架。

引言

自部署 AI 组件的迅速普及——推理服务器、agent 平台、MCP 服务器和工作流引擎——带来了一个广泛的、网络暴露的攻击面,这些组件通常由安全专业知识有限的团队进行部署。这一攻击面之所以重要,是因为相关故障会导致算力被盗、凭证泄露、提示注入和工具滥用。先前的安全工具并不足够:它们缺乏针对此类新软件的指纹,在非语义化版本方案(如构建 ID、dev 标签)上失效,并且主要关注注入缺陷,而忽略了占主导地位的 AI 特有余量。此外,现有的扫描器只解决孤立层面(基础设施、代码或行为),并忽略了新兴的 agent 技能供应链。

作者的主要贡献是提出了一个分层的评估框架 AI-Infra-Guard,为四个攻击面层分别匹配合适的检测范式。该框架结合了用于基础设施层的确定性规则匹配与版本规范化、用于协议和工具层的基于 LLM 驱动的 agentic 审计与 Prompt-as-Rule 方法、用于 agent 行为层的多轮红队测试,以及用于对齐层的基于攻击算子枚举和模型判断的评估。该系统还能够审计 agent 技能包,并防御间接提示注入,从而提供了第一个能连贯覆盖所有层次的开源平台。

方法

作者提出了基于分层-范式匹配原则的安全评估框架 AI-Infra-Guard。核心论点是:AI 攻击面可分解为四个不同的抽象层次,每个层次都需要一个特定的检测范式,以产生足够的安全发现证据。这种对应关系被形式化为 LiPiL_i \mapsto P_iLiPi,其中 i{1,2,3,4}i \in \{1, 2, 3, 4\}i{1,2,3,4},每一层都与能够产生所需证据的最经济评估范式相匹配。

在基础设施层,作者利用确定性规则匹配来识别暴露的 AI 服务、已知的 CVE 和泄露的配置。基础设施扫描流水线处理诸如 IP 列表、IP 范围、域名列表和 URL 列表等目标。它经过一个指纹分析阶段,初始化扫描引擎、识别 AI 框架、执行 CVE 匹配并进行框架风险分析。随后是一个基础设施扫描 agent,处理动态页面渲染、可视化资产捕获和多模态风险评估。最终输出包括安全评分、资产清单、漏洞详情和业务影响摘要。

对于涵盖 MCP 服务器和 agent 技能的协议/工具层,该框架采用基于 LLM 驱动的 agentic 审计。这一范式是必要的,因为此级别的漏洞(如命令注入、工具投毒或间接提示注入)无法通过固定签名捕获。MCP 审计流水线开始于一个侦察 agent,执行项目结构分析、配置解析、API 端点发现和依赖关系映射,以生成项目分析报告。该上下文被传递给一个 MCP 扫描 agent,执行静态分析、运行时交互、漏洞模式匹配、恶意行为检测和配置错误检测。最后,漏洞复审 agent 通过依赖项检查、沙盒部署、漏洞利用载荷生成和动态风险验证来验证发现结果,最终产生安全评分、风险详情和修复建议。

在 agent 行为层,系统通过基于 LLM 驱动的多轮红队测试来处理运行时漏洞,如数据泄漏、工具滥用和提示注入。评估器作为一个对抗性 agent 与目标对话,利用有界的推理-行动循环将探测从良性查询逐步升级为公开的越狱尝试。模型层则关注对抗性提示下底层语言模型的安全对齐,使用攻击算子枚举和 LLM-as-judge 基准式统计评估。

为了协调这些异构检测模块,作者设计了一个分布式的服务器-agent 架构。

该架构支持集中式的服务器-agent 部署和 agent 技能分发模型。后端服务(包括 Gin Web 服务器、插件管理、存储和 LLM 提供方)驱动 AI 基础设施扫描、MCP 服务器扫描和 LLM 越狱评估的核心引擎。这些引擎依赖于一个 AI agents 层和一个包含指纹、CVE、MCP 插件和越狱数据集的共享知识库。服务器通过 WebSocket 通道将任务分发给工作 agent,实现水平扩展和故障隔离。快速的确定性扫描在基于 Go 的工作程序中进程内运行,而计算密集的 LLM 审计则作为 Python 子进程启动,中间结果实时流式传回用户界面。

实验

基础设施扫描根据 CVE 和组件层面的发现生成安全评分,而技能扫描将结果分类为正常、可疑或恶意,并在 SkillTrustBench 上验证检测效果,在 5,520 个真实案例中,顶级模型的宽松 F1 分数超过 0.98。Agent 红队测试采用多轮对话攻击与目标验证(canary token)来测试数据泄漏、工具滥用、间接注入和权限绕过,并在预算意识下的升级和停止规则下进行。越狱评估将庞大的攻击库与 LLM 法官相结合,生成攻击成功率曲线,直接比较不同模型的安全对齐水平。

AI 攻击面被分解为四个层次——基础设施、协议/工具、agent 行为以及模型——每层都与适合其特性的独特检测范式配对。确定性规则匹配以速度和可复现性处理已知基础设施签名,而基于 LLM 驱动的审计、红队测试以及攻击算子枚举与 LLM 判断则应对更高层次日益增长的语义和交互需求。这种分层匹配避免了将一种方法强加于所有层次,认识到各种范式在不同层次之间不可互换。基础设施扫描依赖快速、可复现的规则匹配来检测已知 CVE 和可观测项,而模型层评估则使用攻击算子枚举和 LLM-as-judge 来评估对抗性变换下的对齐鲁棒性。从基础设施到模型的演进显示出确定性递减和语义需求递增,从匹配已知签名转向通过交互和变换来判断行为安全性。

基础设施扫描模块使用包含 107 条指纹规则和 1443 条漏洞规则(涵盖 75 个 AI 组件)的确定性规则语料库。漏洞规则主要依赖显式版本谓词,一小部分使用空谓词进行推断匹配。匹配引擎使用等量的匹配和比较算子评估四种字段类型。检测逻辑与代码分离:规则是声明式的 YAML 格式,由轻量级 Go 引擎执行。漏洞规则数量是指纹规则的十倍以上。匹配系统精确操作四种字段类型:body、header、icon 和 hash。几乎所有漏洞规则(1443 条中的 1356 条)都检查显式组件版本。

同一个 AI-Infra-Guard 技能扫描器,在搭配不同基座模型时,均一致地取得高于 0.96 的宽松 F1 分数,最佳模型超过 0.98,召回率接近 1.0。不同模型的误报率存在显著差异,范围为 0.012 至 0.072,而所有模型的精确率均保持较高水平(≥0.97)。这表明检测套件干净地将基座模型能力与审计规范分离开来,因此升级底层模型能直接改善检测结果。Claude Opus 4.6 和 GLM 5.1 以 0.9848 和 0.9836 的宽松 F1 领先,二者的召回率均达到 0.9974。不同基座模型的误报率差异显著,从 Gemini 3.5 Flash 的 0.0120 到 GLM 5.1 的 0.0723,尽管所有模型的精确率均维持在 0.97 以上。该套件隔离了基座模型的能力:仅改变模型而不改变审计逻辑,就会产生不同的检测性能,证实了底层模型的改进能直接转化为更可信的技能扫描结果。

四个风险族根据其漏洞判断的客观性程度进行分层,从完全确定性到上下文相关。数据泄漏和工具滥用允许通过实际秘密泄露或 canary token 进行客观验证;间接注入利用植入的标记进行半客观检测;而权限绕过则需要对权限边界进行主观解释。工具滥用为 SSRF 引入一个 canary token,将一个可能模糊的响应转变为对 token 存在的确定性检查。间接注入使用类似 INDIRECT_SUCCESS 的标记,提供了明确的信号,反映了 canary 方法,并产生一个半客观的判定。

评估套件纳入了十六个红队测试数据集,总计约 7,000 条有害提示。该集合主要由两个大型通用安全语料库构成,其余数据集规模较小且针对特定危害,例如虚假信息、武器和已知越狱攻击。这种构成能够广泛覆盖各类漏洞。两个数据集,cnsafe(3,030 条提示)和 SafeBench(2,300 条提示),占了提示语料库的大部分。其余十四个数据集各包含不到 600 条提示,其中许多专注于狭窄的危害类别,如虚假信息、网络攻击和版权。所有数据集通过一个统一的加载器访问,支持常见格式,从而允许跨不同提示源进行一致的评估。

实验设置将 AI 攻击面分解为四个层次,每层与适合其特性的检测范式配对:基础设施采用确定性规则匹配,协议和工具采用基于 LLM 驱动的审计,agent 行为采用红队测试,模型采用攻击算子枚举与 LLM 法官。基础设施扫描器依赖以基于版本的漏洞检查为主的声明式 YAML 规则语料库,而技能扫描器则证明检测性能是基座模型能力的函数,取得了高召回率,并将审计逻辑与模型选择清晰地分离开。风险族按客观性分层,从客观(数据泄漏、工具滥用)到主观(权限绕过),canary token 和植入标记将模糊信号转变为确定性或半客观的判定,而红队测试套件聚合了 16 个数据集、总计数千条提示,以覆盖广泛的有害行为分类。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供