17 天前

通过离散对抗训练增强视觉表征

Xiaofeng Mao, Yuefeng Chen, Ranjie Duan, Yao Zhu, Gege Qi, Shaokai Ye, Xiaodan Li, Rong Zhang, Hui Xue
通过离散对抗训练增强视觉表征
摘要

对抗训练(Adversarial Training, AT)通常被认为是最有效的防御对抗样本的方法之一,但其往往显著损害模型在标准任务上的性能,因而限制了其在工业级大规模生产与应用中的实用性。然而,在自然语言处理(NLP)任务中,这一现象却呈现出截然相反的规律:AT不仅不会损害模型性能,反而有助于提升泛化能力。我们观察到,NLP任务中对抗训练的优势可能源于其离散且符号化的输入空间。为借鉴NLP风格对抗训练的优势,我们提出了离散对抗训练(Discrete Adversarial Training, DAT)。DAT利用VQGAN将图像数据转换为类似文本的离散输入——即“视觉词”(visual words),从而构建具有符号性质的离散图像表示。在此基础上,DAT通过在这些离散图像上施加符号化的对抗扰动,最小化其最大风险。我们进一步从分布角度提供了理论解释,以阐明DAT的有效性。作为一项即插即用的视觉表征增强技术,DAT在多个任务中均取得了显著提升,涵盖图像分类、目标检测以及自监督学习等。尤为突出的是,基于掩码自编码(Masked Auto-Encoding, MAE)预训练,并通过DAT进行微调(无需额外数据)的模型,在ImageNet-C上达到了31.40 mCE的优异表现,在Stylized-ImageNet上实现了32.77%的Top-1准确率,刷新了当前最优性能记录。相关代码将公开于:https://github.com/alibaba/easyrobust。