HyperAIHyperAI

Command Palette

Search for a command to run...

零样本信息抽取作为统一的文本到三元组翻译

Chenguang Wang Xiao Liu Zui Chen Haoyun Hong Jie Tang Dawn Song

摘要

我们将一系列信息抽取任务统一纳入文本到三元组的翻译框架中。与以往依赖特定任务数据集和模型分别求解各个任务的方法不同,我们将其形式化为从特定任务的输入文本到输出三元组之间的翻译任务。通过输入特定任务的文本,我们利用预训练语言模型中隐含的、关于该任务的知识,实现无需任务特异性的通用翻译。此外,我们进一步证明,一种简单的预训练任务——预测哪一类关系信息对应于哪一段输入文本,是一种有效生成任务特定输出的方法。这一设计使得我们的框架能够实现零样本迁移(zero-shot transfer)至下游任务。我们在开放信息抽取(OIE2016、NYT、WEB、PENN)、关系分类(FewRel 和 TACRED)以及事实探测(Google-RE 和 T-REx)等多个任务上评估了该框架的零样本性能。实验结果表明,该模型在大多数任务上均展现出非平凡的迁移能力,且在无需任何任务特定训练的情况下,常常能够与完全监督的方法相媲美。例如,在开放信息抽取任务中,我们显著优于采用其训练集进行监督训练的现有方法的F1分数。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供