HyperAIHyperAI

Command Palette

Search for a command to run...

基于点互信息的上下文数据增强用于意图识别

Yen-Ting Lin Alexandros Papangelis Seokhwan Kim Sungjin Lee Devamanyu Hazarika Mahdi Namazifar Di Jin Yang Liu Dilek Hakkani-Tur

摘要

本研究聚焦于面向意图识别任务的上下文内数据增强方法。我们发现,仅通过大规模预训练语言模型(PLM)的上下文提示进行数据增强,并不能有效提升模型性能。为此,本文提出一种基于PLM与点对点V信息(Pointwise V-information, PVI)的新型方法。PVI是一种能够衡量单个数据样本对模型训练价值的指标。所提方法首先在少量种子训练数据上微调PLM,随后生成对应于特定意图的新语句(即合成数据)。接着,基于PVI设计意图感知的过滤机制,剔除对下游意图分类器无益的样本。该方法充分利用了大规模语言模型的强大表达能力,生成多样化的训练数据。实验结果表明,在少样本设置下,该方法生成的合成训练数据在三个具有挑战性的意图识别数据集上均达到当前最优性能(5-shot设置下平均提升1.28%,10-shot设置下平均提升1.18%);在全样本设置下,性能与现有最先进方法相当(平均差距不超过0.01%绝对值)。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供