HyperAIHyperAI

Command Palette

Search for a command to run...

FRAMEWORK SAFEKEY: تقليل نسبة الخروقات الأمنية في النماذج الكبيرة بنسبة 9.6% من خلال تعزيز الأمان في الجمل المفتاحية وتوجيه الاستعلامات بشكل أكثر أمانًا

علماء يطورون إطار SafeKey لمكافحة المخاطر في نماذج الذكاء الصناعي الكبيرة، مخفضين معدل خطورة الردود بنسبة 9.6٪ بناءً على اكتشافات مهمة، أطلق فريق البحث إطار SafeKey، الذي يعمل على تعزيز الإشارات الأمنية داخل "الجملة الرئيسية" للنموذج، مما يرفع بشكل كبير من مستوى الأمان في استجابات النموذج. أولاً، يتميز الإطار بإدخال تحسينين آخرين إلى البيانات الأصلية المستخدمة للتدريب. الرأس الأمني ذو المسارين: زيادة الإشارات الأمنية يهدف الفريق البحثي إلى تعزيز قدرة النموذج على تقديم الإشارات الأمنية في جزأين من الجملة الرئيسية: المحتوى الكامل للجملة الرئيسية وأيضًا عملية فهم النموذج للبحث، بحيث يمكنه تحديد المخاطر الأمنية بشكل أفضل. لهذا الغرض، تم تصميم الرأس الأمني ذو المسارين (Dual-Path Safety Head) الذي يتضمن مقطعين مستورين ومتنبئين أثناء التدريب، حيث يقوم بتحليل مدى أمان استفسارات البحث قبل أن يبدأ النموذج بتكوين الجملة الرئيسية، مما يؤدي إلى توفير إشارات أمان أكثر كفاءة وفعالية للجملة الرئيسية التي تليها. نموذج القناع الاستفساري: تعزيز الفهم الذاتي للأمان ثانيًا، من أجل تشجيع النموذج على الاهتمام أكثر بعملية البحث الآمنة، وتجنب التوجيه "المتعجرف" الذي قد يؤدي إلى اتخاذ قرارات خاطئة، طور الفريق هدف Query-Mask Modeling. بموجب هذا الهدف، يخفي النظام أي استفسار يتم تقديمه إلى النموذج، مع طلب منه إنتاج الجملة الرئيسية فقط على أساس فهمه وشرحه الخاص للاستفسار. هذا التصميم يساعد بشكل كبير في تعزيز قرارات الأمان الذاتية والاستقرار في النموذج، حيث يُجبر النموذج على "الثقة" و"استخدام" الفهم الداخلي الذي تكونه حديثاً والذي يحمل إشارات الأمان.

الروابط ذات الصلة