基于Transformer预训练的跨度联合实体与关系抽取

我们提出了SpERT，一种基于跨度的联合实体与关系抽取的注意力模型。其核心贡献在于对BERT嵌入进行轻量级推理，该方法兼具实体识别与过滤功能，并采用局部化、无标记（marker-free）的上下文表示进行关系分类。模型通过强负样本进行训练，这些负样本可在单次BERT前向传播中高效提取，从而支持对句子中所有可能跨度的全面搜索。消融实验表明，预训练、强负样本采样以及局部化上下文表示均显著提升了模型性能。在多个联合实体与关系抽取数据集上，SpERT的F1分数相较以往方法最高提升达2.6%。