基于生成式Transformer的对比三元组抽取

三元组抽取是自然语言处理与知识图谱构建中的关键任务。本文重新审视了基于序列生成的端到端三元组抽取方法。由于生成式三元组抽取在捕捉长距离依赖关系以及生成忠实三元组方面可能存在困难，我们提出了一种新型模型——基于生成式Transformer的对比三元组抽取模型。具体而言，我们设计了一个共享的单变压器模块，用于基于编码器-解码器架构的生成过程。为提升生成结果的忠实性，我们提出了一种新颖的三元组对比训练目标。此外，我们引入两种机制以进一步提升模型性能，即批量动态注意力掩码机制（batch-wise dynamic attention-masking）和三元组级校准机制（triple-wise calibration）。在三个公开数据集（NYT、WebNLG 和 MIE）上的实验结果表明，所提方法在性能上优于现有基线模型。