Multi-step Error Minimization（正式名称：Multi-step Error Minimization、MEM）が論文「」に掲載されました。マルチモーダル学習不可能な例: マルチモーダル対照学習からデータを保護するで提案されている、これは、マルチモーダルな学習不可能な例を生成するための新しい最適化プロセスです。エラー最小化 (EM) フレームワークを拡張して、画像ノイズと追加のテキスト トリガーを最適化することで、最適化スペースを拡大し、ノイズ特徴とテキスト トリガーの間のショートカットを学習するようにモデルを効果的に誤解させます。
研究チームは、ノイズ最小化問題を解決するために投影勾配降下法を採用し、HotFlip を使用して勾配を近似し、単語を置換して最適なテキスト トリガーを見つけました。広範な実験により MEM の有効性が証明されており、保護後の検索結果はランダムな推測のほぼ半分であり、異なるモデル間での高い移植性を備えています。