离散表示增强视觉Transformer的鲁棒性

视觉Transformer（Vision Transformer, ViT）正逐渐成为图像识别领域的前沿架构。尽管近期研究认为ViT相较于卷积神经网络具有更强的鲁棒性，但我们的实验发现，基于ImageNet训练的ViT对局部纹理过度依赖，未能充分利用形状信息，因而难以在分布外（out-of-distribution）的真实世界数据上实现良好泛化。为解决这一缺陷，我们提出一种简单而有效的架构改进方法：在ViT的输入层引入由向量量化编码器生成的离散标记（discrete tokens）。与标准的连续像素标记不同，离散标记对微小扰动具有不变性，且单个标记所携带的信息量较少，这促使ViT更关注具有不变性的全局语义信息。实验结果表明，在四种不同的ViT变体中引入离散表示后，ViT在七个ImageNet鲁棒性基准测试中的性能平均提升高达12%，同时保持了在原始ImageNet数据集上的原有性能。