视觉提示调优

当前在微调预训练模型时普遍采用的方法是更新整个骨干网络的所有参数，即全量微调（full fine-tuning）。本文提出了一种名为视觉提示调优（Visual Prompt Tuning, VPT）的新方法，作为大规模Transformer视觉模型中全量微调的高效且有效的替代方案。受近期大语言模型高效微调技术的启发，VPT仅在输入空间中引入少量可训练参数（少于模型总参数的1%），同时保持模型骨干网络冻结不变。通过在多种下游识别任务上的大量实验验证，我们表明VPT相较于其他参数高效微调方法显著提升了性能。尤为重要的是，VPT在不同模型规模和训练数据量级下，多数情况下甚至超越了全量微调的性能表现，同时大幅降低了每个任务所需的存储开销。