17 天前

DREEAM:利用证据引导注意力以提升文档级关系抽取

Youmi Ma, An Wang, Naoaki Okazaki
DREEAM:利用证据引导注意力以提升文档级关系抽取
摘要

文档级关系抽取(Document-level Relation Extraction, DocRE)旨在识别文档中每对实体之间的所有关系。研究表明,作为关系抽取线索来源的证据(即包含实体对之间关系线索的句子)有助于DocRE系统聚焦于相关文本,从而提升关系抽取效果。然而,DocRE中的证据检索(Evidence Retrieval, ER)面临两大挑战:高内存消耗以及标注数据的稀缺性。本文致力于解决上述问题,以提升证据检索在DocRE中的应用效果。首先,我们提出DREEAM(Document-level Relation Extraction with Efficient Attention Mechanism),一种内存高效的解决方案。该方法将证据信息作为监督信号,引导DocRE系统中的注意力模块为证据句子分配更高的权重,从而增强模型对关键信息的聚焦能力。其次,我们设计了一种针对DREEAM的自训练策略,使其能够在无需人工标注证据的情况下,利用大规模自动构建的证据数据进行学习,有效缓解了标注资源不足的问题。实验结果表明,DREEAM在DocRED基准数据集上,在DocRE和ER两个任务上均取得了当前最优性能。据我们所知,DREEAM是首个实现证据检索自训练(ER self-training)的框架,为高效、可扩展的文档级关系抽取提供了新的技术路径。