DAVSP: محاذاة الأمان في النماذج البصرية-اللغوية الكبيرة من خلال موجه الأمان البصري المُحاذي عميقًا
DAVSP: محاذاة الأمان في النماذج البصرية-اللغوية الكبيرة من خلال موجه الأمان البصري المُحاذي عميقًا
Yitong Zhang Jia Li Liyi Cai Ge Li

الملخص
لقد حققت نماذج الرؤية واللغة الكبيرة (LVLMs) تقدماً ملحوظاً في مجالات تطبيقية متعددة، لكنها ما زالت عرضة للاستفسارات الخبيثة التي تستغل الوسيلة البصرية. وغالباً ما تفشل الطرق الحالية للتوافق (alignment) في مقاومة الاستفسارات الخبيثة مع الحفاظ على الفعالية في الاستفسارات العادية. ولحل هذه التحديات، نقترح نموذجاً جديداً يُسمى "مُحفِّز الأمان البصري المُتمَيّز" (DAVSP)، الذي يُبنى على Innovations رئيسية. أولاً، نقدّم مُحفِّز الأمان البصري (Visual Safety Prompt)، الذي يُضيف منطقة مُتَوَسِّعة قابلة للتدريب حول الصورة المدخلة. ويُحافظ هذا المُحفِّز على السمات البصرية ويدرّس مساحة التحسين. ثانياً، نقترح منهجية "التوافق العميق" (Deep Alignment)، وهي طريقة جديدة لتدريب مُحفِّز الأمان البصري من خلال إشراف في فضاء تنشيط النموذج. وتعزز هذه الطريقة القدرة الفطرية لنموذج LVLM على اكتشاف الاستفسارات الخبيثة، مما يحقق توازناً أعمق من الدراسات السابقة. وتشير التجارب الواسعة التي أُجريت على خمسة معايير في نموذجين ممثلين من LVLMs إلى أن DAVSP يُعد فعّالاً في مقاومة الاستفسارات الخبيثة مع الحفاظ على فعالية الاستفسارات العادية. علاوةً على ذلك، يُظهر DAVSP قدرة متميزة على التوليد عبر النماذج المختلفة. وتكشف الدراسات التحليلية (Ablation studies) أن كلاً من مُحفِّز الأمان البصري وطريقة التوافق العميق هما مكونان ضروريان، ويساهمان معاً في الكفاءة الشاملة للنموذج.
مستودعات الكود
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.