AIエージェントの基盤となる大規模言語モデル（LLM）のセキュリティを評価するためのオープンソースベンチマーク「Backbone Breaker（b3）」が、チェックポイント・ソフトウェアとAIセキュリティ企業ラケラ、英国AIセキュリティ研究所（AISI）の共同開発により公開された。このベンチマークは、AIエージェントの複雑なワークフローの中でこれまで見えにくかった脆弱性を特定するための「脅威スナップショット」という新概念に基づいている。従来の全プロセスをシミュレートする方式ではなく、LLMが最も脆弱になりやすい特定の瞬間をピンポイントでテストすることで、現実的な攻撃シナリオに耐えうるかを効率的に評価できる。 b3は、1万9,433件のクラウドソーシングされた攻撃データを活用し、システムプロンプトの漏洩、フィッシングリンクの挿入、悪意あるコード注入、サービス拒否攻撃、不正なツール呼び出しといった主要な脅威を評価対象としている。テスト対象となった31の主要LLMの結果から、多くのモデルが予期せぬ脆弱性を抱えていることが明らかになった。 ラケラの共同創業者兼最高科学者マテオ・ロハス・カルウラ氏は、「AIエージェントのセキュリティは、その基盤となるLLMの強さにかかっている。b3は、開発者やモデル提供者に現実的な評価手段を提供し、セキュリティ体制の強化を可能にする」と強調した。このベンチマークは、アリス・エージェントの攻撃シミュレーター「Gandalf: Agent Breaker」と連携しており、2023年の社内ハッカソンから始まり、現在では世界最大のレッドチームコミュニティとして8000万件以上の攻撃データを生成している。 ラケラは2021年に設立され、2025年にチェックポイントに買収され、AIネイティブセキュリティのリーダーとして、財務500企業やテック企業を支援している。b3ベンチマークは、arXivに公開され、オープンソースで利用可能。AIの進化に伴う新たなサイバー脅威に対応するため、開発者や企業が自らのAIシステムの安全性を可視化し、改善する重要なツールとなる。