HyperAIHyperAI

Command Palette

Search for a command to run...

Lakera تطلق معيارًا مفتوح المصدر لتقييم أمنية خلفيات نماذج اللغة الكبيرة في تطبيقات الوكالات الذكية

أطلقت شركة لاكيرا، التابعة لشركة تشيك بوينت للبرمجيات، معيارًا مفتوح المصدر لاختبار أمني يُسمى "Backbone Breaker" (b3)، مُخصَّصًا لتقييم أمان نماذج اللغة الكبيرة (LLM) داخل التطبيقات الذكية المعتمدة على الذكاء الاصطناعي (AI Agents). جاء هذا الإطلاق بالتعاون مع باحثين من المعهد البريطاني لسلامة الذكاء الاصطناعي (AISI)، ويُعدّ خطوة مهمة في مواجهة التهديدات الأمنية المتنامية في عالم التطبيقات الذكية. يتمحور المعيار الجديد حول مفهوم "لقطات التهديد" (Threat Snapshots)، وهو نهج مبتكر يركز على نقاط حرجة في سير العمل لنموذج اللغة، حيث تزداد احتمالية وجود ثغرات أمنية. بدلًا من محاكاة تطبيق ذكي كاملًا، يُختبر النموذج في لحظات حاسمة، مثل استقبال أوامر مُعدّة مسبقًا أو استخدام أدوات خارجية، مما يسمح بتحديد الثغرات بشكل أكثر دقة وواقعية. يجمع معيار b3 عشرة سيناريوهات تمثل تهديدات شائعة في التطبيقات الذكية، مثل سرقة أوامر النظام (system prompt exfiltration)، إدراج روابط تصيد احتيالي (phishing links)، حقن كود ضار، إعاقة الخدمة (Denial-of-Service)، وتنفيذ أدوات غير مصرّح بها. تم تجميع مجموعة البيانات المُستخدمة في التقييم من خلال لعبة تجريبية تُدعى "غندالف: مُفكّك الوكيل" (Gandalf: Agent Breaker)، وهي لعبة تفاعلية تُمكّن المُهاجمين (الفرق الحمراء) من اختبار تطبيقات ذكية حقيقية عبر سيناريوهات متنوعة، من تفاعلات نصية إلى معالجة ملفات وتنفيذ كود. تم جمع أكثر من 80 مليون نقطة بيانات منذ إطلاق اللعبة في 2023، مما جعلها أكبر مجتمع عالمي لاختبار الهجمات على الذكاء الاصطناعي. تُستخدم هذه البيانات لاختبار 31 نموذجًا لغويًا شهيرًا، وقد كشفت النتائج عن مخاطر أمنية خطيرة في معظم النماذج، بما في ذلك قابلية التلاعب بسهولة في بعض السيناريوهات. يُعدّ هذا المعيار مفتوح المصدر، ويمكن الوصول إليه عبر الرابط: https://arxiv.org/abs/2510.22620. ويُعتبر خطوة نحو بناء بيئة أمان أكثر شفافية وفعالية في تطوير التطبيقات الذكية. تُعد لاكيرا، التي تأسست عام 2021 من قبل ديفيد هابر، ماتيو روخاس-كارولا، ومايكل كرافت، من الشركات الرائدة في مجال الأمن الذكي للذكاء الاصطناعي، وتم استحواذ تشيك بوينت عليها في 2025. وتُعتبر لعبة غندالف أداة حيوية لتطوير دفاعات أمنية تُحدّث تلقائيًا بفضل تفاعل المجتمع العالمي من المُهاجمين والمتخصصين في اختبار الهجمات. يُعزز هذا المعيار من قدرة المطورين وشركات النماذج على قياس أمان أنظمتهم بشكل واقعي، وتحسينها قبل نشرها في البيئات الحقيقية، ما يسهم في بناء ثقة رقمية أكثر أمانًا في عصر الذكاء الاصطناعي.

الروابط ذات الصلة