摘要
近年来，全由多层感知机（MLP）构成的神经网络架构在计算机视觉领域引起了广泛关注。然而，这类MLP类视觉模型在空间与通道维度间的信息混合效率较低，导致其需要在大规模数据集上进行昂贵的预训练才能达到良好性能。本文从一种新颖的知识蒸馏视角出发，提出了一种名为空间-通道令牌蒸馏（Spatial-channel Token Distillation, STD）的新方法。该方法通过在空间和通道两个维度上分别引入蒸馏令牌（distillation tokens），有效提升了跨维度的信息融合能力。为进一步增强蒸馏令牌在各自维度上的专注性并最大化性能提升，本文还引入了互信息正则化机制。在ImageNet数据集上对多种MLP类架构的大量实验表明，所提出的令牌蒸馏机制能够显著提升模型精度。例如，在不依赖JFT-300M大规模预训练的情况下，STD将Mixer-S16在ImageNet上的Top-1准确率从73.8%提升至75.7%。当应用于更强的架构（如CycleMLP-B1和CycleMLP-B2）时，STD仍分别带来了约1.1%和0.5%的准确率提升。