HyperAIHyperAI

Command Palette

Search for a command to run...

视觉提示调优

Menglin Jia Luming Tang Bor-Chun Chen Claire Cardie Serge Belongie Bharath Hariharan Ser-Nam Lim

摘要

当前在微调预训练模型时普遍采用的方法是更新整个骨干网络的所有参数,即全量微调(full fine-tuning)。本文提出了一种名为视觉提示调优(Visual Prompt Tuning, VPT)的新方法,作为大规模Transformer视觉模型中全量微调的高效且有效的替代方案。受近期大语言模型高效微调技术的启发,VPT仅在输入空间中引入少量可训练参数(少于模型总参数的1%),同时保持模型骨干网络冻结不变。通过在多种下游识别任务上的大量实验验证,我们表明VPT相较于其他参数高效微调方法显著提升了性能。尤为重要的是,VPT在不同模型规模和训练数据量级下,多数情况下甚至超越了全量微调的性能表现,同时大幅降低了每个任务所需的存储开销。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供