HyperAIHyperAI

Command Palette

Search for a command to run...

Lakera 推出开源安全基准测试,守护 AI 代理中大语言模型后端安全

Lakera联合Check Point软件公司及英国人工智能安全研究所(AISI)正式发布全球首个专为AI智能体中大语言模型(LLM)设计的开源安全评估基准——“Backbone Breaker”(b3)。该基准旨在系统性发现复杂智能体工作流中长期隐藏的安全漏洞,为开发者和模型提供商提供真实、高效的评估工具。 b3的核心创新在于“威胁快照”(Threat Snapshots)理念。与传统模拟完整智能体流程的方式不同,该基准聚焦于LLM在关键节点上最易受攻击的时刻,精准测试模型在真实对抗场景下的防御能力,避免了全链路建模带来的高复杂度和资源开销。 Lakera联合创始人兼首席科学家Mateo Rojas-Carulla表示:“当前AI智能体的安全性完全取决于其底层LLM。b3通过威胁快照,让隐藏的漏洞得以暴露。我们希望将这一开源工具开放给全球开发者,助力提升AI系统的整体安全水平。” b3基准整合了10个典型智能体“威胁快照”场景,涵盖系统提示泄露、钓鱼链接注入、恶意代码执行、拒绝服务攻击及未经授权的工具调用等高风险威胁,并基于名为“Gandalf: Agent Breaker”的游戏化红队对抗平台,收集了19,433条高质量人工标注的对抗攻击样本。 初步测试覆盖31个主流大语言模型,揭示了多个关键安全短板。该基准已开放获取,可通过arXiv链接(https://arxiv.org/abs/2510.22620)下载。 Gandalf: Agent Breaker是一款模拟真实AI智能体攻防的黑客挑战游戏,内含10个基于真实场景的GenAI应用,涵盖聊天、代码分析、文件处理、记忆管理与外部工具调用等能力,支持多难度层级和多层次防御机制,适合从提示工程到高级红队技术的全栈人才参与。该平台最初由Lakera内部黑客松孵化,自2023年发布以来,已积累超8000万条攻防数据,成为全球最大的AI红队社区。 Lakera成立于2021年,由David Haber、Mateo Rojas-Carulla和Matthias Kraft共同创立,2025年被Check Point收购,现为Check Point旗下AI安全平台。公司总部位于瑞士苏黎世与美国旧金山,致力于为全球领先企业提供面向智能体AI的原生安全防护。

相关链接