联合标记裁剪与压缩以实现视觉变压器的更激进压缩

尽管视觉变换器（ViTs）在各种计算机视觉任务中最近展示了令人鼓舞的结果，但其高昂的计算成本限制了其实用应用。先前通过剪枝冗余标记的方法已经证明了在性能和计算成本之间取得了良好的平衡。然而，由剪枝策略引起的错误可能导致显著的信息损失。我们的定量实验表明，被剪枝的标记对性能的影响应该是明显的。为了解决这一问题，我们提出了一种新颖的联合标记剪枝与压缩模块（Token Pruning & Squeezing, TPS），以更高的效率压缩视觉变换器。首先，TPS 采用剪枝方法获得保留子集和剪枝子集。其次，TPS 通过单向最近邻匹配和基于相似性的融合步骤，将被剪枝标记的信息压缩到部分保留标记中。与现有最先进方法相比，我们的方法在所有标记剪枝强度下均表现出色。特别是在将 DeiT-tiny 和 DeiT-small 的计算预算减少到 35% 时，它在 ImageNet 分类任务上的准确率比基线模型提高了 1%-6%。所提出的方法可以加速 DeiT-small 的吞吐量超过 DeiT-tiny，同时其准确率比 DeiT-tiny 高出 4.78%。我们在多种变换器上的实验验证了该方法的有效性，而分析实验则证明了我们对标记剪枝策略错误具有更高的鲁棒性。代码可在 https://github.com/megvii-research/TPS-CVPR2023 获取。