Efficient Vits

Efficient ViTs旨在通过不改变Transformer架构的方式提升视觉变换器（ViTs）的效率，主要技术包括Key与Query稀疏化、Token剪枝与合并。该方法能够在保持模型性能的同时显著降低计算成本和内存消耗，提高模型在大规模数据集上的训练和推理速度，适用于实时图像处理和资源受限环境下的计算机视觉任务。