HyperAIHyperAI

Command Palette

Search for a command to run...

Console
il y a 5 jours

DAVSP : Alignement de la sécurité pour les grands modèles vision-langage par une invitation visuelle d'alignement profond

Yitong Zhang Jia Li Liyi Cai Ge Li

DAVSP : Alignement de la sécurité pour les grands modèles vision-langage par une invitation visuelle d'alignement profond

Résumé

Les grands modèles vision-langage (LVLM) ont accompli des progrès remarquables dans diverses applications, mais restent vulnérables aux requêtes malveillantes exploitant la modalité visuelle. Les approches actuelles d’alignement peinent généralement à résister aux requêtes malveillantes tout en préservant efficacement l’utilité des requêtes innocentes. Pour relever ces défis, nous proposons DAVSP (Deep Aligned Visual Safety Prompt), fondé sur deux innovations clés. Premièrement, nous introduisons le Visual Safety Prompt, une région ajoutée comme remplissage ajustable autour de l’image d’entrée. Cette approche préserve les caractéristiques visuelles tout en élargissant l’espace d’optimisation. Deuxièmement, nous proposons une méthode originale appelée Deep Alignment, qui entraîne le prompt de sécurité visuelle à l’aide d’une supervision dans l’espace d’activation du modèle. Cette méthode renforce la capacité intrinsèque des LVLM à détecter les requêtes malveillantes, atteignant un niveau d’alignement plus profond que les approches antérieures. Des expérimentations étendues sur cinq benchmarks, menées sur deux LVLM représentatifs, démontrent que DAVSP résiste efficacement aux requêtes malveillantes tout en préservant l’utilité des entrées innocentes. En outre, DAVSP présente une remarquable capacité de génération transmodèle. Des études d’ablation confirment que les deux composants — le Visual Safety Prompt et Deep Alignment — sont essentiels, contribuant conjointement à son efficacité globale.

Dépôts de code

zhangyitonggg/davsp
Officiel
pytorch

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
DAVSP : Alignement de la sécurité pour les grands modèles vision-langage par une invitation visuelle d'alignement profond | Articles de recherche | HyperAI