الحقن الفوري

الحقن الفوري هو نوع جديد من الهجوم.هناك أشكال مختلفة من هجمات الكلمات التلميحية، بما في ذلك حقن الكلمات التلميحية، وتسريب الكلمات التلميحية، وكسر الحماية بالكلمات التلميحية، وتظهر مصطلحات جديدة باستمرار لوصف هذه الهجمات، ولا تزال هذه المصطلحات تتطور.قد تتسبب هذه الهجمات في قيام النموذج بإنشاء محتوى غير مناسب، أو تسريب معلومات حساسة، وما إلى ذلك.يتضمن أحد أنواع الهجوم التلاعب بالمحتوى الضار أو حقنه في المطالبات لاستغلال النظام. قد تتضمن هذه الثغرات استغلالات فعلية تؤثر على سلوك النظام أو تخدع المستخدمين. تسلط هجمات الكلمات التلميحية الضوء على أهمية تحسينات الأمان وتقييمات الثغرات الأمنية المستمرة. يعد تنفيذ التدابير الأمنية ضروريًا لمنع هجمات الحقن الفوري وحماية نماذج الذكاء الاصطناعي/التعلم الآلي من الجهات الخبيثة.

كيف أصبحت هجمات الكلمات التلميحية تهديدًا

يمكن أن تصبح هجمات الكلمات التلميحية تهديدًا عندما يستخدمها الجهات الخبيثة للتلاعب بنماذج الذكاء الاصطناعي/التعلم الآلي لأداء إجراءات غير متوقعة. في مثال واقعي لهجوم الكلمات الإرشادية، اكتشف طالب بجامعة ستانفورد يدعى كيفن ليو الإشارة الأولية التي يستخدمها Bing Chat، وهو برنامج دردشة آلي. استخدم ليو الكلمات المحفزة لتوجيه Bing Chat إلى "تجاهل التعليمات السابقة" وعرض محتوى "بداية المستند أعلاه". وبذلك، سرّب نموذج الذكاء الاصطناعي تعليماته الأصلية، والتي عادة ما تكون مخفية عن المستخدمين.