可微分提示使预训练语言模型成为更优的少样本学习者

大规模预训练语言模型在自然语言处理领域取得了显著进展，展现出强大的少样本学习能力。然而，其性能主要依赖于模型参数的规模扩大和提示（prompt）设计，这在很大程度上限制了其在大多数实际应用场景中的落地。为此，本研究提出了一种新型可插拔、可扩展且高效的少样本学习方法——可微分提示模板（DifferentiAble pRompT, DART），该方法无需任何人工提示工程，即可将小型语言模型转化为更优的少样本学习者。该方法的核心思想是将潜在的自然语言处理任务重新建模为预训练语言模型的优化问题，并通过反向传播对提示模板和目标标签进行联合微分优化。此外，所提出的方法具备以下优势：（i）可无缝适配任意预训练语言模型；（ii）可广泛扩展至各类分类任务。在标准自然语言处理任务上的全面评估表明，DART在少样本学习场景下显著优于现有方法。相关代码已开源，地址为：https://github.com/zjunlp/DART。