LM-CPPF：基于对比提示的少样本微调中以释义为导向的数据增强方法

近年来，在开发用于自然语言处理（NLP）的预训练语言模型方面取得了显著进展。然而，这些模型在小数据集上进行微调时往往表现不佳。为了解决这一问题，研究人员提出了多种适应方法。基于提示的微调被认为是其中最常用的方法，尤其是在较大规模的模型中。先前的研究表明，将对比学习添加到基于提示的微调中是有效的，因为它有助于生成更具区分性的类别嵌入，并且由于模型可以同时从正例和负例中学习，因此样本效率更高。对比学习的一个重要组成部分是数据增强，但与计算机视觉不同的是，自然语言处理中的有效数据增强仍然具有挑战性。本文提出了一种名为LM-CPPF（Contrastive Paraphrasing-guided Prompt-based Fine-tuning of Language Models）的方法，该方法利用生成式语言模型（尤其是像GPT-3和OPT-175B这样的大规模语言模型）进行基于提示的少样本同义句生成，以实现数据增强。我们在多个文本分类基准上的实验结果表明，这种增强方法优于其他方法，如简单数据增强、回译和多模板方法。