18 天前
超越词级注意力:在神经关系抽取中使用片段注意力
{Zhen-Yu Zhang, Bowen Yu, Tingwen Liu, Quangang Li, Bin Wang, Sujian Li}

摘要
关系抽取旨在预测句子中实体对之间的语义关系。在该任务中,注意力机制常被用于通过独立地对词语进行软选择来缓解句内噪声。基于这样一个观察:与关系相关的信息通常集中于句子中的连续词段(即连续的词序列),我们可以利用这一现象以提升关系抽取的效果。本文旨在将此类词段信息融入神经关系抽取模型中。我们的方法将注意力机制视为一组隐变量上的线性链条件随机场(linear-chain conditional random fields),其中边结构编码了期望的序列模式,并将注意力权重解释为每个词被选为关系表达式组成部分的边缘概率。实验结果表明,该方法能够在无需显式标注的情况下关注连续的关系表达式,并在大规模TACRED数据集上取得了当前最优的性能表现。