2 个月前
知觉提示:具有知识感知的协同优化提示调优用于关系抽取
Xiang Chen; Ningyu Zhang; Xin Xie; Shumin Deng; Yunzhi Yao; Chuanqi Tan; Fei Huang; Luo Si; Huajun Chen

摘要
近日,提示调优(prompt-tuning)在特定的少样本分类任务中取得了令人鼓舞的结果。提示调优的核心思想是在输入中插入文本片段(即模板),将分类任务转化为带掩码的语言模型问题。然而,对于关系抽取任务而言,确定合适的提示模板需要领域专业知识,而获取适合的标签词则既繁琐又耗时。此外,关系标签之间存在丰富的语义和先验知识,这些知识不容忽视。为此,我们专注于将关系标签之间的知识融入提示调优以进行关系抽取,并提出了一种带有协同优化的知识感知提示调优方法(Knowledge-aware Prompt-tuning with Synergistic Optimization, KnowPrompt)。具体来说,我们将关系标签中包含的潜在知识通过可学习的虚拟类型词和答案词注入到提示构建过程中。随后,我们利用结构化约束对它们的表示进行协同优化。我们在五个数据集上进行了广泛的实验,包括标准设置和低资源设置,结果证明了我们方法的有效性。我们的代码和数据集可在 https://github.com/zjunlp/KnowPrompt 获取,以确保研究的可重复性。