Minimisation Des Erreurs En Plusieurs Étapes

La minimisation des erreurs en plusieurs étapes (MEM) a été publiée en 2024 par l'Institut d'ingénierie de l'information de l'Académie chinoise des sciences, l'Université technologique de Nanyang, l'Université nationale de Singapour et l'Université Sun Yat-sen dans l'article «Exemples d'apprentissage multimodal impossibles : protection des données contre l'apprentissage multimodal contrastif" a proposé une nouvelle procédure d'optimisation pour générer des exemples multimodaux non apprenables. Elle étend le cadre de minimisation des erreurs (EM) pour optimiser le bruit de l'image et les déclencheurs de texte supplémentaires, ce qui élargit l'espace d'optimisation et induit efficacement le modèle en erreur pour apprendre des raccourcis entre les caractéristiques de bruit et les déclencheurs de texte.

L'équipe de recherche a adopté la descente de gradient projetée pour résoudre le problème de minimisation du bruit et a utilisé HotFlip pour approximer le gradient et remplacer les mots afin de trouver le meilleur déclencheur de texte. Des expériences approfondies démontrent l'efficacité du MEM, les résultats de récupération après protection représentent près de la moitié des suppositions aléatoires et il est hautement portable entre différents modèles.