拖放式LLM：零样本提示到权重

现代参数高效微调（PEFT）方法，如低秩适应（LoRA），降低了定制大型语言模型（LLMs）的成本，但仍需要为每个下游数据集进行单独的优化运行。我们引入了拖放式大型语言模型（DnD），这是一种基于提示的参数生成器，通过直接将少量未标记的任务提示映射到LoRA权重更新来消除每任务训练的需求。一个轻量级的文本编码器将每个提示批次提炼为条件嵌入，然后由级联超卷积解码器将其转换为完整的LoRA矩阵集合。经过多样化的提示-检查点对训练后，DnD能够在几秒钟内生成特定任务的参数，从而实现：i) 比完全微调低至12,000倍的开销；ii) 在未见过的常识推理、数学、编程和多模态基准测试中，性能比最强的训练LoRA平均提升高达30%；iii) 尽管从未接触过目标数据或标签，仍表现出强大的跨域泛化能力。我们的研究结果表明，基于提示的参数生成是一种可行的替代方案，可以快速专业化大型语言模型。我们的项目可在\href{https://jerryliang24.github.io/DnD}{https://jerryliang24.github.io/DnD}获取。