LeViT：一种面向快速推理的卷积神经网络风格视觉Transformer

我们设计了一类图像分类架构，旨在高速运行环境下优化准确率与效率之间的权衡。本工作基于近期关于基于注意力机制架构的研究成果，这类架构在高度并行的硬件平台上表现出色。我们重新审视了卷积神经网络领域中大量文献所揭示的原理，并将其应用于Transformer模型，特别是引入了分辨率逐步降低的激活图（activation maps）机制。此外，我们提出了一种新的“注意力偏置”（attention bias）方法，用于在视觉Transformer中更有效地融合位置信息。基于上述创新，我们提出了LeVIT：一种面向快速推理的图像分类混合神经网络。为了全面反映多样化的应用场景，我们在不同硬件平台上评估了多种效率指标。大量实验结果验证了我们的技术选择的有效性，表明这些方法适用于大多数主流架构。总体而言，LeVIT在速度与准确率的权衡方面显著优于现有的卷积神经网络（convnets）和视觉Transformer。例如，在达到ImageNet数据集80%的Top-1准确率时，LeVIT在CPU上的推理速度比EfficientNet快5倍。相关代码已开源，地址为：https://github.com/facebookresearch/LeViT