基于点互信息的上下文数据增强用于意图识别

本研究聚焦于面向意图识别任务的上下文内数据增强方法。我们发现，仅通过大规模预训练语言模型（PLM）的上下文提示进行数据增强，并不能有效提升模型性能。为此，本文提出一种基于PLM与点对点V信息（Pointwise V-information, PVI）的新型方法。PVI是一种能够衡量单个数据样本对模型训练价值的指标。所提方法首先在少量种子训练数据上微调PLM，随后生成对应于特定意图的新语句（即合成数据）。接着，基于PVI设计意图感知的过滤机制，剔除对下游意图分类器无益的样本。该方法充分利用了大规模语言模型的强大表达能力，生成多样化的训练数据。实验结果表明，在少样本设置下，该方法生成的合成训练数据在三个具有挑战性的意图识别数据集上均达到当前最优性能（5-shot设置下平均提升1.28%，10-shot设置下平均提升1.18%）；在全样本设置下，性能与现有最先进方法相当（平均差距不超过0.01%绝对值）。