参数高效微调 Parameter-efficient Fine-tuning

参数高效微调 (PEFT) 是自然语言处理 (NLP) 中使用的一种技术，用于提高预训练语言模型在特定下游任务上的性能。它涉及重复使用预训练模型的参数并在较小的数据集上对其进行微调，与从头开始训练整个模型相比，这可以节省计算资源和时间。 PEFT 通过冻结预训练模型的某些层并仅微调特定于下游任务的最后几层来实现这种效率。这样，模型就可以以更少的计算开销和更少的标记示例适应新任务。尽管 PEFT 是一个相对较新的概念，但自从引入迁移学习以来，更新模型的最后一层就一直在计算机视觉领域实践。

清华大学计算机系孙茂松团队于 2024 年提出了相关研究成果「面向大规模预训练语言模型的参数高效微调」，改论文被发表在《自然・机器智能》（Nature Machine Intelligence）上。该研究成果定义和描述了 Delta Tuning 问题，并通过统一的框架对以往的研究进行梳理回顾。 Delta Tuning 方法可以被分为三组：增量式 (Addition-based) 、指定式 (Specification-based) 和重参数化 (Reparameterization-based) 的方法。研究团队还从优化和最优控制两个角度提出了理论框架，以指导后续的结构和算法设计，并在超过 100 个 NLP 任务上进行了全面的实验对比和性能分析。