HyperAIHyperAI

Command Palette

Search for a command to run...

أوامر خفية تزرع ذكريات كاذبة في وكلاء الذكاء الاصطناعي

يحذر باحثون من جامعة نيو مكسيكو الحكومية من ثغرة أمنية جديدة تستهدف ذاكرة الوكلاء الذكيين المدعومين بنماذج اللغات الكبيرة، حيث كشفت الدراسة الحديثة عن هجوم خبيث يُعرف بـ GhostWriter. يهدف هذا الهجوم إلى حقن تعليمات أو ذكريات كاذبة في ذاكرة النظام طويلة المدى، مما يمكّن المهاجمين من التأثير على سلوك الذكاء الاصطناعي وتنفيذ إجراءات تلقائية دون علم المستخدم. يعمل الهجوم عبر مرحلتين رئيسيتين: مرحلة الحقن، حيث يرسل الخصم حمولة هجومية مخفية إلى الوكيل، ومرحلة التنشيط، التي يسترجع فيها النظام المعلومات المسمومة استجابة لطلب شرعي من المستخدم. أظهرت التجارب أن الهجوم يحقق معدل حقن يقترب من 98 في المائة، ومعدل تنشيط يبلغ حوالي 60 في المائة على أحدث الوكلاء الذكيين. يمكن للذاكرة المسمومة أن تتحكم في مهام حساسة، مثل إعادة توجيه رسائل البريد الإلكتروني المالية أو تلخيصها وإرسالها إلى جهات خبيثة. يعزو الفريق المؤلف من جورج توريس وشيراد شريستا وساتاجايانت ميسرا هذه الثغرة إلى غياب آليات حوكمة أمنية مخصصة لإدارة الذاكرة في الوكلاء الشخصي، الذين يجمعون بين الحوار وتنفيذ الأوامر مع الوصول إلى مصادر بيانات غير موثوقة. لمعالجة هذه المخاطر، يقترح الباحثون إطار عمل أمني جديد يُسمى AM-Sentry، يعتمد على وسيطين وقائيين: سياسة حفظ الذاكرة، وشاشة فحص عند الاسترجاع. أثبتت الاختبارات أن هذا الإطار يقلل بشكل كبير من نجاح الهجوم مع الحفاظ على كفاءة وأداء الوكيل دون تأثير سلبي على تجربته. تشير هذه النتائج إلى حاجة ماسة لتطوير معايير أمنية متخصصة للذكاء الاصطناعي القادر على التعلم المستمر وتخزين البيانات. مع تزايد اعتماد المنصات الرقمية على الوكلاء الذكيين ذات الذاكرة طويلة المدى، تكتسب هذه الحلول الوقائية أهمية بالغة لضمان حماية خصوصية المستخدمين ومنع التلاعب الخفي بقرارات الآلة. من المتوقع أن تُطبق هذه الاستراتيجيات على نطاق أوسع في المستقبل القريب بعد مراجعتها واختبارها في سيناريوهات متعددة.

الروابط ذات الصلة