17 天前

神经提示搜索

Yuanhan Zhang, Kaiyang Zhou, Ziwei Liu
神经提示搜索
摘要

近年来,视觉模型的规模呈指数级增长,尤其是在视觉Transformer(Vision Transformer)出现之后。这一趋势推动了参数高效微调方法的发展,例如学习适配器层(adapter layers)或视觉提示令牌(visual prompt tokens),这些方法仅需训练模型中极小比例的参数,而绝大多数来自预训练的参数则保持冻结状态。然而,设计一种有效的微调方法并非易事:研究者往往需要尝试大量设计选项,且每个下游数据集通常都需要量身定制的方案。本文将现有的参数高效微调方法视为“提示模块”(prompt modules),并提出一种名为神经提示搜索(Neural prOmpt seArcH, NOAH)的新方法。该方法通过神经架构搜索算法,为大型视觉模型在每个下游数据集上自动学习最优的提示模块结构。在超过20个视觉数据集上的大量实验表明,NOAH具备以下优势:(i)优于单一提示模块;(ii)具有出色的少样本学习能力;(iii)具备良好的跨领域泛化能力。相关代码与模型已开源,地址为:https://github.com/Davidzhangyuanhan/NOAH。