多步误差最小化(全称 Multi-step Error Minimization,简称 MEM)中科院信工所、南洋理工大学、新加坡国立大学和中山大学于 2024 年在论文「Multimodal Unlearnable Examples: Protecting Data against Multimodal Contrastive Learning」中提出,这是一种用于生成多模态不可学习示例的新型优化过程。它扩展了误差最小化 (EM) 框架,以优化图像噪声和附加文本触发器,从而扩大了优化空间,并有效地误导模型学习噪声特征和文本触发器之间的捷径。
研究团队采用投影梯度下降来解决噪声最小化问题,并使用 HotFlip 近似梯度并替换单词以找到最佳文本触发器。大量实验证明了 MEM 的有效性,保护后检索结果几乎是随机猜测的一半,并且它在不同模型之间具有很高的可移植性。