Lakera, in collaboration with Check Point Software Technologies und Forschern des UK AI Security Institute (AISI), hat den „Backbone Breaker Benchmark (b3)“ vorgestellt – eine neue, open-source-Sicherheitsbewertung speziell für die Sicherheit von Large Language Models (LLMs) in künstlichen Agenten. Der b3-Benchmark setzt auf dem Konzept der „Threat Snapshots“ auf, das es ermöglicht, kritische Schwachstellen in LLMs an entscheidenden Stellen des Agenten-Workflows zu identifizieren, ohne den gesamten Prozess simulieren zu müssen. Dadurch wird eine realistischere und effizientere Prüfung von Sicherheitsresistenz gegenüber Angriffen ermöglicht. Die Benchmark beinhaltet zehn repräsentative „Threat Snapshots“ und nutzt eine hochwertige, durch Crowdsourcing gewonnene Datenmenge von 19.433 adversarialen Angriffen aus dem Gamified Red-Teaming-Spiel Gandalf: Agent Breaker. Dieses Tool, ursprünglich aus einem internen Hackathon entstanden, simuliert reale Angriffsszenarien in zehn GenAI-Anwendungen mit unterschiedlichen Schwierigkeitsgraden, defensiven Schichten und Angriffsoberflächen – von Prompt-Engineering bis hin zu Code- und Dateiverarbeitung. Die Initialtestungen von 31 gängigen LLMs offenbarten erhebliche Sicherheitslücken, insbesondere bei System-Prompt-Exfiltration, Phishing-Link-Einbettung, schadhafter Code-Insertion, Denial-of-Service-Angriffen und unbefugten Tool-Aufrufen. Der b3-Benchmark steht nun unter einer Open-Source-Lizenz zur Verfügung und ist auf arXiv veröffentlicht. Die Einführung des b3-Benchmarks markiert einen Meilenstein in der Sicherheit agenter KI-Systeme, da er erstmals eine standardisierte, praxisnahe Methode bietet, um die Sicherheitsresilienz von LLMs unter realistischen Bedrohungsbedingungen zu messen. Durch die Integration von Gandalf – der weltweit größten Red-Teaming-Community für GenAI – kann die Sicherheit kontinuierlich getestet und verbessert werden. Lakera, 2021 gegründet von David Haber, Dr. Mateo Rojas-Carulla und Dr. Matthias Kraft, wurde 2025 von Check Point übernommen und ist nun Teil des globalen Cyber-Sicherheitsunternehmens. Mit Sitz in Zürich und San Francisco ist Lakera spezialisiert auf AI-native Sicherheitslösungen für agente-basierte Anwendungen und schützt führende Unternehmen vor neuen KI-basierten Bedrohungen. Industrieexperten begrüßen den b3-Benchmark als wichtigen Schritt zur Standardisierung der KI-Sicherheit. „Bislang fehlte ein realistisches, reproduzierbares Werkzeug, um die Sicherheit von LLMs in Agenten zu testen“, sagt ein Sicherheitsexperte aus dem Bereich KI-Trust. „Der b3-Benchmark mit Threat Snapshots und dem Gamified-Red-Teaming-Ansatz schließt diese Lücke und wird die Entwicklung sicherer KI-Systeme entscheidend voranbringen.“ Check Point betont mit dem b3-Benchmark und der Gründung eines Global Center of Excellence for AI Security die strategische Bedeutung von KI-Sicherheit im Rahmen seiner Infinity-Plattform. Die Initiative zeigt, wie KI- und Cyber-Sicherheit zunehmend ineinandergreifen und warum proaktive, kontinuierliche Tests wie Gandalf entscheidend sind, um neue Bedrohungen frühzeitig zu erkennen und zu bekämpfen.