HyperAIHyperAI

Command Palette

Search for a command to run...

Console
منذ 5 أيام

DAVSP: محاذاة الأمان في النماذج البصرية-اللغوية الكبيرة من خلال موجه الأمان البصري المُحاذي عميقًا

Yitong Zhang Jia Li Liyi Cai Ge Li

DAVSP: محاذاة الأمان في النماذج البصرية-اللغوية الكبيرة من خلال موجه الأمان البصري المُحاذي عميقًا

الملخص

لقد حققت نماذج الرؤية واللغة الكبيرة (LVLMs) تقدماً ملحوظاً في مجالات تطبيقية متعددة، لكنها ما زالت عرضة للاستفسارات الخبيثة التي تستغل الوسيلة البصرية. وغالباً ما تفشل الطرق الحالية للتوافق (alignment) في مقاومة الاستفسارات الخبيثة مع الحفاظ على الفعالية في الاستفسارات العادية. ولحل هذه التحديات، نقترح نموذجاً جديداً يُسمى "مُحفِّز الأمان البصري المُتمَيّز" (DAVSP)، الذي يُبنى على Innovations رئيسية. أولاً، نقدّم مُحفِّز الأمان البصري (Visual Safety Prompt)، الذي يُضيف منطقة مُتَوَسِّعة قابلة للتدريب حول الصورة المدخلة. ويُحافظ هذا المُحفِّز على السمات البصرية ويدرّس مساحة التحسين. ثانياً، نقترح منهجية "التوافق العميق" (Deep Alignment)، وهي طريقة جديدة لتدريب مُحفِّز الأمان البصري من خلال إشراف في فضاء تنشيط النموذج. وتعزز هذه الطريقة القدرة الفطرية لنموذج LVLM على اكتشاف الاستفسارات الخبيثة، مما يحقق توازناً أعمق من الدراسات السابقة. وتشير التجارب الواسعة التي أُجريت على خمسة معايير في نموذجين ممثلين من LVLMs إلى أن DAVSP يُعد فعّالاً في مقاومة الاستفسارات الخبيثة مع الحفاظ على فعالية الاستفسارات العادية. علاوةً على ذلك، يُظهر DAVSP قدرة متميزة على التوليد عبر النماذج المختلفة. وتكشف الدراسات التحليلية (Ablation studies) أن كلاً من مُحفِّز الأمان البصري وطريقة التوافق العميق هما مكونان ضروريان، ويساهمان معاً في الكفاءة الشاملة للنموذج.

مستودعات الكود

zhangyitonggg/davsp
رسمي
pytorch

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
DAVSP: محاذاة الأمان في النماذج البصرية-اللغوية الكبيرة من خلال موجه الأمان البصري المُحاذي عميقًا | الأوراق البحثية | HyperAI